План Невельского не соответствовал ни характеру, ни намерениям генерал-губернатора Муравьев, воспитанный в традициях кавказских войн, не признавал пассивности в обороне. Планы Невельского и его проекты будущего устройства края казались Муравьеву неуместной вольностью. Он считал, что Невельской захватывает прерогативы, ему не принадлежащие. Ничего не ответив Невельскому на его представление, Муравьев, препровождая ему орден Владимира 3-й степени, написал лишь, что сам намеревается спуститься в низовья Амура из Сретенска вместе с войсками, предназначенными для укомплектования экспедиции и подкрепления Петропавловска. Тем самым он давал понять, что берет в свои руки дальнейшую судьбу края.
Уже несколько лет длилась борьба Муравьева с министерством иностранных дел, лично с Нессельроде. Министр, обычно готовый по первому мановению царя черное назвать белым, а белое черным, в отношении дальневосточных дел проявлял неожиданную стойкость, поддерживаемый Чернышевым, Бергом и другими заинтересованными лицами. Нессельроде руководствовался не страхом перед мифической военной мощью Китая, а боязнью, что началом русского судоходства на Амуре будет нанесен ущерб кяхтинской торговле, в которой министр был заинтересован далеко не платонически. Всюду, где только мог, этот маленький немец в больших очках, рискуя даже навлечь на себя неудовольствие грозного царя, препятствовал энергическим усилиям Невельского и Муравьева пробить для России свободный выход на Тихий океан. 3 января 1854 года борьба закончилась победой Муравьева.
Генерал-губернатор отправил два послания - одно царю, а другое великому князю Константину Николаевичу. В них он излагал препятствия, которые вечно воздвигало перед ним министерство иностранных дел.
В связи с обостряющейся международной обстановкой Муравьев просил дать ему возможность принять необходимые меры к защите вверенного ему края и внести ясность в Амурские дела
Одиннадцатого января 1854 года Муравьеву было "высочайше разрешено" сноситься непосредственно с китайским правительством по всем пограничным вопросам. Ему был назначен специальный секретарь по дипломатической части. Эти обстоятельства существенно меняли взаимоотношения Невельского и Муравьева. До сих пор разногласия их по Амурскому вопросу сглаживались перед лицом общего врага - Нессельроде, и они дружно боролись против него, не вдаваясь в разбор этих разногласий, лишь бы спасти главное. Но сейчас, когда уже от одного Муравьева, в сущности, стали зависеть Амурские дела, Невельской из союзника превратился просто в строптивого подчиненного, не желающего разделять "мудрые" соображения начальства. Последствия такой ситуации предугадать было нетрудно.