Вокруг этого небольшого города, сверкающего на солнце, отряд вырыл несколько траншей и обустроил артиллерийские позиции. Командиры испанцев полагали, что через три дня их задача будет выполнена ко всеобщему удовлетворению. Однако Хасан-ага не стал сдаваться.
Тем временем подул сильный западный ветер, подняв волны в мелководном заливе у мыса Матафу. За ветром хлынули потоки дождя. Солдаты, оставшиеся без палаток, которые сорвал ветер, промокли до нитки, дрожали от холода. С кораблей на пляж не поступало никакого продовольствия — мешал шторм на море. Голодные солдаты ожидали, что продовольствие доставят, как только утихнет буря. Но она, наоборот, усилилась до урагана. Промокший порох стал непригоден для использования.
Затем начались атаки Хасана-аги из-за стен Алжира. Дождь не мешал его янычарам использовать луки и стрелы. Мавры, изгнанные из Андалузии, вымещали в атаках свою ненависть к испанцам, своим бывшим господам. Их ярость вызвала панику в рядах осаждавших войск.
Карл лично возглавил контратаку невозмутимых немцев, но зашел слишком далеко. Вблизи стен города контратакующие понесли большие потери от артиллерийского огня и отступили.
Между тем все это не было бы большой бедой, если бы не голод и неразбериха в месте высадки. Адмирал Дориа увел большую часть своих галер в море, опасаясь держать их в бурю у берега. Однако капитаны транспортных судов вместо того, чтобы последовать за Дориа, наоборот, направились к берегу, то ли для того, чтобы совершить высадку, то ли из-за неспособности управлять судами в бурном море. В результате в бурунах потонуло сто сорок пять галер и транспортов. Те, кто спаслись с утонувших судов, были убиты на берегу кочевниками, которые спустились с гор, чтобы перебить стражу европейцев и разграбить уже выгруженные продовольственные запасы. Три дня шторма привлекли на побережье массу налетчиков, которых ранее здесь не было.
Тем временем Карл со своими грандами и рыцарями Мальты отражал в грязных, поспешно вырытых окопах близ Алжира атаки экзальтированных воинов Хасана-аги. В конце концов командиры испанцев решили отступить к месту высадки, чтобы добыть еду. За два дня без пищи люди сильно ослабели.
Осада была снята, вьючных животных пустили на мясо. Предстояло пройти 15 миль под дождем, по грязи. Рыцари шли в арьергарде. Лишь один Кортес возражал против отступления.
И как только оно началось, командиры и солдаты окончательно потеряли боевой дух и солидарность. Особенно упали духом голодные немцы, стрелковое оружие которых стало бесполезным. Окружавшие испанцев кочевники, ехавшие верхом на лошадях, смеялись над солдатами, тащившимися по грязи и лужам. Тыл отступавших был надежно прикрыт контингентом рыцарей, защитников веры. Одна из высот, где сделали привал эти заклятые враги турок, была названа местными берберами «могилой рыцарей».