В 1580 году, когда Португалия попала под власть Испании, Сан-Бородон отошел к испанцам и был возвращен Португалии лишь в 1640 году. В 1662 году после заключения брака между Карлом Вторым и Екатериной Браганса острова снова поменяли хозяев. Обговорив приданое Екатерины, Карл заключил с португальцами крупную сделку. По этой договоренности Британия получала полмиллиона фунтов серебром, разрешение британским колониям торговать с Бразилией (хотя и под ревностным наблюдением португальцев), а также переход Танжера и Бомбея под власть британской короны. Среди столь значительных пунктов договора передача двух крошечных островков Британии казалась сущим пустяком.
Поначалу Сан-Бородоном управлял военный губернатор. Во время наполеоновских войн острова были укреплены и превращены в форты. После Венского конгресса войска были отозваны, а управлять островами был назначен гражданский губернатор.
Постепенно управление Сан-Бородоном отошло к министерству по делам колоний.
Во время Первой мировой войны Сан-Бородон подвергся десятиминутному артиллерийскому обстрелу с германской подводной лодки, в результате чего в Порт-Карлосе оказалось разрушено три здания и десять человек погибло. На главной площади города в их честь была установлена памятная доска. В период между Первой и Второй мировыми войнами Порт-Карлос служил пунктом перезаправки военных судов Вскоре после начала войны в Порт-Карлосе и на Море были выставлены гарнизоны со складами оружия, амуниции и провизии на случай, если Испания нарушит нейтралитет и предпримет попытку оккупировать острова. Многие жители Сан-Бородона ушли служить в армию, на военный и торговый флот. Тридцать семь человек домой не вернулись. В память о погибших в храме Порт-Карлоса установили мемориал.
Остров Сан-Бородон всегда процветал за счет экспорта бананов. Большинство их выращивалось на небольших частных владениях и экспортировалось кооперативами. Другой немаловажной статьей дохода являлся экспорт вин, табака, сахара, а также кошенили, которая обитала в зарослях кактусов на всей территории острова. Правда, со временем, по мере загрязнения среды обитания, этот промысел сошел на нет. Местное население пробавлялось и ловом рыбы, умудряясь отправлять ее на продажу в Испанию и Португалию. Громадные уловы трески солили, вялили и отправляли в эти страны. Мора был менее богатым и не столь развитым островом. Большая его часть была труднопроходимой, а почва – не такой плодородной, как на Сан-Бородоне.
Однажды возникла идея привлечь на острова туристов, но попытка оказалась неудачной. Будучи вулканическими по происхождению, острова Сан-Бородона имели крутые и высокие, труднодоступные берега, и за малым исключением все их побережье было покрыто застывшей лавой или крупным черным вулканическим песком. Дороги здесь никудышные; кроме того, в Порт-Карлосе построили всего один отель, который, хотя и устраивал тех, кто приезжал на остров по делам, никак не мог стать местом, привлекательным для туристов. Помимо всего прочего, на острове, особенно когда дул южный ветер, вечно стоял удушающий запах вяленой трески, к которому привыкнуть было невозможно. Только пробыв на острове пару месяцев, этот запах переставали считать таким навязчивым. Хотя некоторые так и не могли с ним смириться. Однако сэр Джордж Кейтор не чувствовал его уже через две недели жизни на острове, зато его дочь Дафни, жену капитана Берроуза, запах этот преследовал с неубывающей силой.