Оказавшись один на берегу, Селкерк пожалел о своем упрямстве и сделал баркасу знак вернуться, но старшина получил строгий приказ и не хотел замечать сигналов. Вскоре корабль поднял паруса и скрылся из виду. В списке экипажа против имени Селкерка капитан Страдлинг сделал пометку: «пропал без вести».
Для того чтобы выжить, Селкерку не пришлось, подобно Робинзону, вылавливать обломки кораблекрушения. Вместе с его постелью баркас доставил на остров хорошее кремневое ружье, фунт пороху и достаточное количество патронов. В его матросском сундуке была одежда, кремневая зажигалка, табак, топорик, тесак, чайник и Библия. Корабельный кок добавил к этому еще продовольствия на несколько дней. Одним словом, там было все необходимое, чтобы просуществовать какое-то время в ожидании корабля. Но острова Хуан-Фернандес лежат в стороне от обычных морских путей, так что Селкерку пришлось прождать своих спасителей четыре с половиной года.
На острове Селкерк сразу же обнаружил любопытные следы: сложенные кучками камни, кусочек ржавого железа, согнутый в форме крючка. Он внимательно осмотрел остров: ни души. Человек, оставивший по себе память на острове, покинул его двадцать лет назад. Это был индеец из племени москито, прибывший туда с английскими флибустьерами и «забытый» ими при поспешном отплытии. В 1684 году его снял с острова знаменитый английский флибустьер Дэмпир.
По словам Селкерка, одиночество его отнюдь не угнетало. Больше всего он страдал от обилия крыс. По ночам они грызли на нем одежду и даже кусали за пальцы ног. К счастью, с испанских и английских кораблей на остров перекочевали не только крысы. Кошки тоже оказались на берегу и тоже сильно расплодились. Со временем Селкерку удалось приручить несколько кошек, и тем самым проблема с крысами была решена.
Добывание же пищи не было для него проблемой. Еще до того как иссяк запас пороха и пуль, у него появилось стадо коз с козлятами. Козы водились на острове в диком состоянии, и Селкерк, ранив нескольких животных в ноги, выходил их затем и создал таким образом свое хромоногое стадо. Теперь он мог по мере надобности забивать намеченное животное, обходясь без огнестрельного оружия. Козлята, появившиеся на свет от покалеченных родителей, были нежно привязаны к своему хозяину, они ходили за ним, лизали ему руки и ноги, а когда подросли, стали давать молоко, которое он разделял со своими кошками.
У Селкерка уже не хватало духу убивать таких доверчивых животных. Он мог свободно обходиться без мяса, так как повсюду в изобилии росла репа и капустная пальма, а огромные раки, черепахи и съедобные моллюски водились в таком количестве, что только успевай собирать. Но вся одежда Селкерка превратилась в лохмотья, и только козьи шкуры могли заменить ему рубашку, брюки и одеяло. Только шкуры можно было натянуть над примитивной хижиной, чтобы иметь надежную защиту от ливней и от лучей слишком жаркого солнца. И вот Селкерк стал усиленно тренироваться. Вскоре он уже мог прыгать, как козленок, и на ходу убивать старых диких козлов. Хорошо наточенный тесак довершал остальное.