На Питкэрне Смит поселился с бывшей таитянской подругой Мартина по имени Пуараи (а Теехутеатуаоноа (Дженни), наоборот, перешла к Мартину). Его дом стоял по соседству с домом Янга, с которым Смит особенно сблизился на острове.
Спустя примерно год после высадки на остров, ориентировочно в начале 1791 года, Пуараи, собирая яйца птиц, сорвалась со скалы и разбилась насмерть. Смит стал вторым вдовцом на Питкэрне (первым в конце 1790 года потерял жену Джон Уильямс). Вскоре было принято решение отдать Уильямсу одну из женщин полинезийцев, Тоофаити (Нэнси), а Смиту — другую, по имени Тинафанаеа (с о. Тубуаи), спутницу Титахити и Оха. Это стало причиной первой кровавой стычки между полинезийцами и белыми, в результате которой Тараро и Оха были убиты.
В День Резни, 20 сентября 1793 года Смиту чудом удалось выжить. Он, как и все остальные белые, с утра работал на своем огороде. Он не мог не слышать первых выстрелов, однако ничего не предпринял. Только когда жена Куинтала Теваруа, пробегая мимо, прокричала что-то страшное, Смит заподозрил неладное и, последовав за ней, спрятался в лесу. Через некоторое время его выследили полинезийцы и начали стрелять. Одна из пуль прошла навылет сквозь плечо и шею. Смит упал, и полинезийцы, набросившись, стали избивать его прикладами мушкетов. Отбиваясь, Смит сломал два пальца на руке. Наконец, его скрутили и дважды попытались застрелить в упор, но оба раза мушкет давал осечку. Смиту удалось вскочить на ноги и убежать.
Дальше события развивались весьма неожиданно. Полинезийцы предложили истекающему кровью Смиту сдаться, и он, окруженный ими, подчинился. Они не убили его, а перенесли в дом Янга, где полинезийские женщины выходили его.
Столь странная развязка до сих пор остается загадкой. Одни исследователи считают, что неправдоподобная история чудесного спасения выдумана самим Адамсом (Смитом), другие — что организатором заговора был гардемарин Эдвард «Нед» Янг, который симпатизировал Смиту (Адамсу) и велел его пощадить.
После выздоровления Смит привел к себе в дом еще одну женщину — Вахинеатуа, вдову Миллза. В дальнейшем она родила ему трех дочерей — Дайну, Рэйчел и Ханну.
В 1799 году Янг и Смит решили положить конец пьяным дебошам Куинтала. Они пригласили его в дом Смита, напоили, и, когда Куинтал по обыкновению начал буйствовать, Смит зарубил его топором.
Оставшись вдвоем, Янг и Смит, очевидно, почувствовали свою ответственность за судьбу детей и женщин, и уклад жизни на острове стал постепенно меняться. Легенда гласит, что Янг учил Смита читать и писать.