Отношения между Муравьевым и Невельским портились все больше и больше. Совместные хлопоты по подготовке края к обороне еще сильнее подчеркивали разницу во мнениях. Многие распоряжения Невельского раздражали властного и самоуверенного генерал-губернатора. Почва для личной неприязни Муравьева была еще прежде хорошо подготовлена многочисленными врагами Невельского, а разногласия, происходившие между генерал-губернатором и Геннадием Ивановичем чуть ли не по каждому вопросу, только подливали масла в огонь.
Трагедия в Императорской гавани, происшедшая по вине Буссе, бросала, конечно, тень и на Невельского, несмотря на то, что он и его отважные сподвижники сделали все, что могли, для устранения катастрофы61. Однако помощь пришла слишком поздно. В продолжение зимы в Императорской гавани из 12 человек команды поста умерли 2 человека, из 48 человек команды транспорта "Иртыш" умерли 1 офицер и 12 человек матросов. Из 24 человек экипажа "Николая I" умерли 4 человека. Таким образом, из 84 человек не стало 19.
Подробное донесение об этом несчастье Невельской получил от Бошняка за несколько дней до прибытия генерал-губернатора.
"Господь бог один знает, - заканчивает Бошняк, - чем бы еще могла кончиться эта печальная драма, если бы Вы не оставили в Императорской гавани значительного количества муки и крупы, и если бы Вы по получении сведений о таком совершенно неожиданном обстоятельстве - сосредоточении здесь 84 человек вместо 12 - не прислали бы нам хотя и скудного, но единственно возможного количества необходимых запасов и оленины, и если бы корвет "Оливуца" не снабдил нас запасами... Прибытие этого корвета оживило нас всех".
Несчастье в Императорской гавани, которое при известном освещении и недоброжелательности можно было бы поставить в вину Невельскому, являлось только поводом для проявления неудовольствия генерал-губернатора, которое на самом деле имело более глубокие корни.
Муравьев еще прежде, про себя, решил судьбу Невельского. Подобного рода сотрудник, инициативный, волевой, способный самостоятельно мыслить, непоколебимый, если считал себя правым, да к тому же еще и имеющий огромные заслуги, способные затмить заслуги Муравьева в Амурском деле, был ему очень неудобен. В то время как Невельской, не обращая внимания на грозные симптомы неудовольствия генерал-губернатора, работал не жалея сил, Муравьев писал своему адъютанту Корсакову:
"...Между тем Невельской просит меня не обездолить его народом и строит батарею в Николаевском порте на увале, кажется, против своего дома, а не там, где приказано - против входа в реку. Он, оказывается, так же вреден, как и атаман: вот к чему ведет честных людей излишнее самолюбие и эгоизм!