В признание заслуг Геннадия Ивановича, с которыми не считаться было нельзя, он был произведен в контр-адмиралы, награжден двумя орденами, но тем не менее дни его пребывания на Амуре уже были сочтены. Прибыв на Амур, летом 1865 года, Муравьёв, в качестве главнокомандующего всеми собравшимися здесь вооружёнными силами, назначил Невельского начальником своего штаба, одновременно сообщив последнему об упразднении Амурской экспедиции и создании новой администрации во главе с камчатским губернатором В. С. Завойко. Несмотря на преподнесенную "позолоченную пилюлю" -- важный пост, -- Невельской великолепно понимал, что это назначение является фактической отставкой. И действительно, когда Муравьёв осенью отбыл через Аян со своей свитой обратно в Иркутск, Невельской остался жить на Амуре в качестве частного лица безо всяких обязанностей, и летом 1856 года с женой и двумя детьми покинул край, в изучение которого вложил свои силы и всю душу.
В начале ноября 1856 года мы видим его уже в С.-Петербурге, где, представляясь незадолго перед тем вступившему на престол Александру III он услышал от него, что Россия никогда не забудет его заслуг. Однако это было совсем не так. Геннадия Ивановича если и вспоминали, то весьма своеобразно. Его травили в печати и в аристократических кругах за якобы лживое утверждение о доступности Амурского лимана для морских кораблей, утверждали, что введенные в устье реки и прибывшие туда из Петропавловска суда не могут выйти оттуда из-за мелководья, за то, что якобы по его вине погиб фрегат "Паллада", взорванный в Императорской Гавани по распоряжению В. С. Завойко и не введенный в Амур из-за того же мелководья. Он боролся, писал, опровергая измышления своих противников, но не мог преодолеть тайных недоброжелателей, когда явные должны были отступить перед фактами, по мере того как флот был выведен в океан, а подлинные причины, почему "Паллада" не была введена в Амур {В этом был виноват Муравьёв; он забрал для следования в Аян единственное из имевшихся в то время в устье Амура паровых судов -- шхуну "Восток" и затем, несмотря на обещание прислать ее обратно в Амурский лиман для буксировки по нему "Паллады", послал её на Камчатку. Только поэтому "Паллада" и не была введена в устье Амура.}, -- становились общеизвестными. Он был один, а недоброжелателей было много. Его заслуги были слишком очевидны, поэтому, не имея надежды их опровергнуть, о нем старались просто не говорить.
Возникает вопрос, почему же так не любили и держали в чёрном теле Невельского, почему у него было так много недоброжелателей?