Когда отступавшие войска наконец добрались до места высадки, там они нашли лишь жалкие остатки продовольствия, множество убитых и обломки потерпевших крушение кораблей. Карл созвал военный совет, чтобы решить, удерживать ли песчаный плацдарм дальше до поступления из Европы новых поставок продовольствия и пороха, однако предотвратить уход из Алжира было уже невозможно. В последний день октября раздраженный Дориа доказывал, что ждать зимой из Европы конвоя с необходимыми грузами — утопия, а если здесь появится Барбаросса со своим флотом, то для христиан это станет полной катастрофой. Подавляющее большинство солдат мечтали лишь об одном — погрузиться на спасшиеся корабли и отправиться на родину.
Наконец потрепанная армада отправилась в обратный путь. Судьба опять отнеслась к ней немилосердно. Более трети транспортных судов утонуло, спасшиеся перебрались на корабли, выдержавшие шторм. На них не осталось места для великолепных испанских скакунов. «Цезарь (император) решил, что нельзя жертвовать жизнями солдат ради лошадей. — Так передают обстановку „Краткие мировые события“. — Он приказал сбросить животных в море. Выполнение этого приказа болью отозвалось в сердцах всадников».
По пятам следовали новые несчастья. Ураганный ветер разметал поврежденные суда по морю. Некоторые из них отнесло обратно в порт Алжир, где экипажи и солдаты были захвачены людьми Хасана-аги. Дориа укрыл Карла и несколько галер в небольшом порту Буджея, охранявшемся испанским гарнизоном. Скудных запасов гарнизона не хватало для беженцев. Ослабевшие гребцы галер больше не могли грести против сильного ветра.
Тайный агент французского короля позднее докладывал Франциску в письменном донесении о печальной судьбе людей, спасшихся в порту Буджея: «Лишь одна каракка (тип корабля) смогла добраться до упомянутого порта Буджея и затонула там, трудно выговорить, в присутствии самого императора, прежде чем из нее можно было что-либо выгрузить. В этом порту они пережили самый страшный в своей жизни голод, имея для еды только кошек, собак и траву.., зять императора убежал в одной рубашке и штанах.., погибла большая часть испанских грандов».
Прибывшие из Сицилии корабли вывезли Карла и его окружение из злосчастного порта. Капитаны кораблей сообщили, что Барбаросса вышел в море с эскадрой из ста пятидесяти парусов. (Как только Сулейман узнал на обратном пути в Константинополь, что армада императора отбыла в Алжир, он приказал Барбароссе мчаться туда на всех парусах).
Штормы, принесшие так много бед армаде Карла, сослужили императору в конце концов неплохую службу. Они вынудили Барбароссу весь ноябрь укрываться в районе греческих островов. Остатки армады пробирались вдоль европейского побережья от порта Трапани на Сицилии в испанский порт Картахену. «Это была самая ужасная из всех катастроф, известных людям, или из тех, о которых я докладывал вашему величеству, — писал Франциску тайный агент. — Он (Карл) будет помнить ее всю жизнь».