Султан Селим Угрюмый, в короткую передышку во время завоевания Египта узнав, что имя Барбароссы стало легендой, выдал ему штандарт бейлербея с конским хвостом, прибавив к награде коня и ятаган. От Нила перед глазами арабов тянулась на Запад Африка, новый континент, который они осваивали так же, как европейцы Америку. Здесь Барбароссе пригодились полк янычар и батареи осадных орудий, которыми снабдил его Селим.
Имя Барбароссы стало обрастать легендами и в Европе. Его искали и не могли найти, а он появлялся повсюду. Испанские галеры перехватили Барбароссу, когда он перевозил изгнанных мавров, не имевших возможности переселиться самостоятельно, из Андалузии в Африку. Барабаросса прибавил эти галеры к своему небольшому флоту из тридцати пяти галиотов. Также он завладел папскими галерами, а их экипажи сделал гребцами.
Когда Карл V в качестве короля Испании приказал очистить страну от оставшихся мавров (после того как его освободили от клятвы во время коронации воздерживаться от насильственного обращения людей в чужую веру), Барбаросса совершил набег на испанское побережье. Нападая на церкви и гарнизоны внутри страны, он использовал в качестве проводников местных мусульман. А уходя с добычей, увез их как пассажиров. В целом Барбаросса вывез семьдесят тысяч мавров, ненавидевших испанцев так же сильно, как и он сам, а затем составивших основу его корабельных команд.
Карла раздражало присутствие в Западном Средиземноморье морских разбойников. Вместе с Барбароссой действовали Синан, еврей из Смирны, способный определять высоту солнца над горизонтом при помощи приклада арбалета, Какка диабола (Бей дьявола) и Салих Раис, тучный араб с Нила, который управлял его баркой. Но выкурить их оттуда было трудно. Вытесненные из Беджами, они появлялись в Алжире. Испанцы владели островом Пеньон-де-Алжир, сторожившим вход в небольшую бухту. Устав от сложных маневров вокруг острова, давшего имя городу и стране, Барбаросса подверг обстрелу укрепления острова из своих осадных орудий и заставил гарнизон произвести работы по строительству волнорезов в направлении открытого моря.
Последовавшие события заставили смеяться все африканское побережье. Испанский флот поддержки, призванный выручить гарнизон острова, не смог узнать остров без форта, снесенного после его захвата Барбароссой, а также город после появления перед ним волнорезов. Испанцы продолжали поиски, пока их не блокировала флотилия Барбароссы и не захватила вместе с кораблями. Таким образом, флагманский корабль испанцев присоединился к пиратской флотилии.