Но надежда эта не сбылась, морозы усилились, и корабль был затерт льдами. Путешественники были обречены на зимовку среди плавучих льдов, что было самое опасное. В середине зимы (это было в половине июня) они почувствовали первые толчки под огромным ледяным полем, в котором застрял корабль. В течение нескольких месяцев несчастные путешественники не имели ни одной минуты покоя. Лед трещал, ломался, и льдины наползали одна на другую. На корабле от натисков льда образовалась течь, и приходилось все время откачивать воду. Наконец напор льда достиг такой силы, что судно было выкинуто льдом на поверхность. «Оно легло на бок, как смертельно раненое животное, менее чем в десять минут времени», – написал Шеклтон в своем дневнике.
Судьба корабля была решена. Шеклтон отдал приказ перенести на лед лодки, сани и запас провианта. Все участники экспедиции перешли на лед, но и тут опасность была не меньше. Каждую минуту можно было ожидать, что льдина, на которой приютились несчастные путешественники, будет раздавлена. Вскоре им даже пришлось спешно все перенести на другую льдину, так как та, на которой они находились, треснула со страшным грохотом.
Экспедиция очутилась в ужасном положении вследствие гибели судна, так как расстояние до ближайшего порта Южной Америки было более 2000 километров, а у них было только три шлюпки. По расчету Шеклтона на расстоянии 600 километров должен был находиться островок Поле, где ничего нет, кроме обширной колонии пингвинов, но для потерпевших крушение это было важно, так как могло спасти их от голодной смерти
Через два дня после того, как корабль был раздавлен льдами и потонул, Шеклтон и его товарищи отправились по ледяному полю к этому острову; они тащили лодки, а собаки тащили сани, нагруженные припасами. Идти по неровному ледяному полю было страшно трудно и приходилось употреблять почти нечеловеческие усилия, чтобы перетаскивать через большие глыбы тяжелые шлюпки. В первый день они могли пройти только две версты и едва держались на ногах. Дальше продолжать такое путешествие было невозможно, и потому решено было расположиться лагерем на льдине и ждать, куда принесет ее течением.
Это ужасное путешествие продолжалось несколько месяцев. Постепенно съели всех собак, и вскоре пришлось сократить порции пищи. Но ледяной плот, на котором они находились, начал таять все более и более. В апреле Шеклтон спустил лодки на воду, и путешественники спустились в море, рискуя быть раздавленными плавающими льдинами. Положение стало очень опасным, когда поднялась буря. Они с трудом добрались обратно до большой льдины и снова вынуждены были высадиться на нее. Когда буря стихла, они снова спустились в море и в течение 36 часов беспрерывно гребли, почти выбиваясь из сил. Шеклтон хотел достигнуть острова Разочарования, на котором норвежские китоловы устроили свою станцию, но до него было далеко, а ехать дальше было невозможно, поэтому он направился к острову Элефант. Этот остров был близко, но добраться до него нелегко, потому что опять разразился шторм. Брызги воды, падая на лодки, замерзали и покрывали их ледяной корой, так что приходилось то и дело сбивать эту кору для того, чтобы лодки не погрузились в море.