Уже во время первой зимовки в 1912-13 г. многие участники экспедиции, в том числе и Брусилов, начали болеть. Несмотря на удачную охоту на тюленей и белых медведей, ко времени второй зимовки 1913-14 г. стала ощущаться нехватка многих продуктов и топлива.
Не все было благополучно и во взаимоотношениях между членами экипажа. Тяжелые условия зимовок во время полярной ночи, неопределенность положения и болезни подавляюще действовали на большинство участников экспедиции. Крупная размолвка произошла между Брусиловым и Альбановым осенью 1913 г., и с этого времени их отношения оставались натянутыми. 22 сентября в судовом журнале появилась запись, сделанная Брусиловым: «Отставлен от своих обязанностей штурман».
22 января 1914 г. Альбанов обратился к Брусилову с просьбой дать ему материал для постройки каяков и саней, чтобы весной уйти с судна на Землю Франца-Иосифа, до которой было около ста километров. Несколько человек из команды решили идти вместе со штурманом. Брусилов не возражал против ухода части экипажа, так как это позволяло растянуть оставшиеся на судне запасы продовольствия и топлива до 1915 г.
К началу апреля группа Альбанова из запасных парусов и кусков судового дерева изготовила семь нарт и каяков, конструкция которых, как показали последующие события, была крайне несовершенной. Были подготовлены теплая одежда, палатка, кухня, оружие, собран запас продовольствия в расчете на два месяца пути (основу продовольствия составляли сухари — около 500 кг, 82 % от всего запаса провизии). Для улучшения питания планировалось в пути заниматься охотой на тюленей и медведей.
23 апреля 1914 г. 13 человек под руководством Альбанова покинули «Святую Анну», находящуюся на 82° 55,5' с. ш., 60° 45' в. д. Прощаясь с уходящими, Брусилов передал штурману жестяную банку, в которой находились особый пакет на имя начальника Гидрографического управления и выписка из судового журнала экспедиции.
Благодаря тому, что эти документы были переданы Альбановым по назначению, история экспедиции Г. Л. Брусилова с момента выхода «Святой Анны» из Петербурга и до апреля 1914 г., когда группа Альбанова покинула судно, стала широко известна. На основе данных судового журнала была построена карта дрейфа «Святой Анны», проходившего по совершенно не исследованным в те времена районам Северного Ледовитого океана.
Через десять дней три человека из команды Альбанова вернулись обратно на шхуну. Таким образом, на «Святой Анне» осталось 13 человек — сам Г. Брусилов, Е. Жданко, гарпунеры В. Шленский и М. Денисов, боцман И. Потапов, матросы Г. Анисимов, Г. Мельбард и И. Параприц, машинист Я. Фрейберг, повар И. Калмыков и вернувшиеся матросы И. Пономарев, М. Шабатура и А. Шахнин. Их судьба и судьба судна не известны до сих пор.