Овандо встретил Колумба с внешними признаками почтения и поместил у себя в доме. Но Колумб жаловался, что Овандо мешал его поверенному собирать на Эспаньоле доходы, следуемые ему по договору с кастильской короной.
В сентябре 1504 г. два судна под командой Христофора Колумба и его брата Бартоломе оставили Эспаньолу и вышли в открытое море; но из-за аварии во время начавшегося сильного шторма адмирал с частью своих людей должен был перейти на корабль Бартоломе, а поврежденное судно отправить обратно в Санто Доминго.
Одинокий корабль пересекал океан в восточном направлении. Буря за бурей преследовали его, и только 7 ноября 1504 г. Колумб вошел в андалузский порт Сан Лукар.
Великий мореплаватель был в отсутствии два с половиной года, из которых больше года провел на Ямайке.
Тяжело больной Колумб был перевезен из Сан Лукара в Севилью. Он был в очень мрачном настроении, но все еще не терял надежды вернуть себе прежнее высокое положение и доходы, связанные с этим положением. Надо отдать ему должное: он не забывал о тех, кто делил с ним несчастия на Ямайке, он настаивал на уплате жалованья его людям, вернувшимся из последней экспедиции на родину, потому что «они испытали невероятные опасности и лишения… и они бедны…».
Но со смертью Изабеллы (она умерла в конце ноября 1504 г.) Колумб потерял всякую надежду на восстановление своих прав. По крайней мере его сыновья, Диего и Фернандо, были убеждены (вероятно, с его слов), что он всегда пользовался милостивым расположением и покровительством королевы, тогда как король Фердинанд был постоянно равнодушен и даже враждебен к нему (на последние письма Колумба он даже не отвечал).
В конце 1504 г. Колумб написал своему сыну Диего о тяжелой болезни, мешающей ему отправиться к королевскому двору, чтобы добиться свидания с королем, и о нужде в деньгах, так как он истратил все доходы, полученные им в Эспаньоле, на перевозку на родину товарищей по экспедиции.
В феврале 1505 г. на Эспаньолу был послан приказ – продать все движимое имущество Колумба. В апреле наложили запрещение и на, другое имущество, чтобы удовлетворить его кредиторов.
Только в середине 1505 г. Колумб с помощью своего брата Бартоломе отправился в Сеговью (город в Старой Кастилии), где тогда находился королевский двор.
Фердинанд вежливо принял Колумба, но ровно ничего не обещал и предложил ему третейский суд для разбора взаимных претензий. Однако Колумб соглашался на третейский суд только для определения размера доходов, причитающихся ему; что же касается его прав и привилегий, то они, по мнению Колумба, не подлежали ни обсуждению, ни изменению.