На 80-м градусе северной широты корабли были остановлены — на сей раз уже сплошными льдами. Но о поражении пока никто не думал — решили свернуть чуть на юг, обратно к Медвежьему, и разойтись кто куда считает нужным. Рийп полагал перспективным новый путь на восток мимо Шпицбергена. Хемскерк же с Баренцем взяли привычный курс на Новую Землю и 13 июля на широте 73-го градуса, наконец, высадились в заливе Ломсбей (современная Сульменева губа), где на берегу установили навигационный знак. Но, не желая терять остатка лета (хотя надежды найти путь за одну навигацию были фактически исчерпаны первыми двумя плаваниями), голландцы решили все же рискнуть: не стали на зимовку, как собирались предварительно, а пошли дальше — мимо Оранских островов в Карское море.
Поначалу повезло: спустились немного вдоль восточного берега Новой Земли, но там, южнее, природа словно бы в насмешку над моряками встретила их льдами — пришлось уходить обратно на север, к мысу Желания. Тут и наступил настоящий кошмар. Не дойдя до мыса нескольких миль, корабль Баренца и Хемскерка 26 августа оказался скованным со всех сторон в бухте, которая справедливо была нанесена на карту как Ледяная. Этот топоним по сей день сохранился на Новой Земле в соперничестве, правда, с поморским названием Спорый Наволок. Участник и летописец того нелегкого плавания Геррит де Фер пометил в тот день в дневнике: «Под вечер мы добрались до западной стороны Ледяной гавани, где нам пришлось провести всю холодную зиму в большой нужде, страданиях и тоске».
Голландский корабль освобождается из ледяного плена, но вскоре его затрет в Ледовой гавани
Не полагаясь более на корабль, который в любой момент мог быть раздавлен льдами, моряки выгрузили все необходимое имущество на берег. В первую очередь — провиант, одежду, оружие, инструменты и, что очень пригодится потом, две небольшие лодки. Потом держали совет и пришли к единственно возможному заключению: надо защититься от холода и диких зверей, построить дом, а в остальном довериться Господу. Никто не мог знать, чем все это закончится, выживет ли хоть кто-то из 17 зимовщиков, не говоря уже о том, вернется ли домой.
С огромным трудом обессилевшие люди заготавливали плавник, необходимый для по стройки избы и растопки печи. Разбирали на топливо ненужные корабельные переборки. Место для зимнего дома Баренц, на которого в трудную минуту все возложили надежды, выбрал, естественно, так, чтобы был виден в своей ловушке корабль, хотя для этого пришлось отдалиться на некоторое расстояние. Избу поставили на 12-метровой береговой террасе более чем в 200 метрах от воды. Вместо трубы приспособили бочку.