Спустя три дня, воспользовавшись благоприятным ветром, экспедиция достигла мыса Доходы, названного Баренцом мысом Желания, и, обогнув северную оконечность Новой Земли, направилась на юго-восток. Путешественники снова загорелись надеждой достичь поставленной цели. Экспедиция была в желанном Карском море. Вскоре снова появились льды, спустился туман и поднялся сильный ветер. Спасаясь от шторма, судно вошло в Ледяную гавань и укрылось за обломком льдины.
Несколько раз экспедиция выходила в морс, но всякий раз путь кораблю преграждали сплоченные крупные льды. Они все ближе и ближе подходили к Ледяной гавани. Моряков охватило беспокойство за участь судна. Ветер усиливался. Лед напирал с огромной силой. Кормовая часть судна и руль поднялись. Шлюпка, находившаяся у борта судна, ударом огромной льдины была превращена в щепки. По признанию Геррита де-Фера, все ждали гибели судна. Путешественники пробовали отталкивать лед шестами, но были бессильны перед разбушевавшейся стихией.
В эти суровые, полные опасностей дни, когда экспедиция находилась на краю гибели, Баренц понял, чти, обогнув Новую Землю с севера и проникнув в Карское море, он все-таки не открыл путь в Китай и что пробиться на восток уже нет никакой надежды. Сожалея о потраченных трудах и усилиях, решил вернуться в Голландию. Как только затихла буря, он приказал ставить паруса. Но едва экспедиция успела пройти несколько километров к северу, как вновь встретила тяжелые, непреодолимые льды. Баренц устремился в противоположную сторону, надеясь спуститься на юг вдоль восточных берегов Новой Земли и выбраться из Карского моря… Однако и здесь его ждала неудача. Встретив на юге лед, Баренц снова пошел к мысу Желания, стремясь пробиться на запад. Но судно, достигнув Ледяной гавани, попало в ледовый плен. Баренц и команда работали не покладая рук, чтобы сделать проход. Во время этих работ едва не погибли три моряка и сам Баренц. В тот момент, когда они, сойдя на лед, осматривали обшивку судна, напиравший лед приподнял корабль и чуть было не засыпал моряков ледяными осколками. Ценой огромных усилий экспедиции удалось пробиться к западному берегу Ледяной гавани, но и этот небольшой успех не избавил экспедицию от опасности.
«30 августа, — писал Геррит де-Фер, — ледяные глыбы опять стали нагромождаться одна на другую в направлении к кораблю. Дул сильный ветер и шел густой снег. Корабль был совершенно окружен и сжат льдом; все около него стало трещать, и казалось, что он разламывается на сто частей; это было ужасно и видеть и слышать; волосы становились дыбом при столь страшном зрелище. В этот опасный момент, когда льдины, до тех пор крепко сжимавшие корабль с обеих сторон, пробились под него, корабль вытолкнуло вверх, как будто железным орудием».