За время пребывания в этой непривычной для себя должности Николай Михайлович сумел прославиться как минимум двумя делами. Во-первых, под его руководством был предотвращён взрыв Каменного моста, по которому предполагалось следование Александра III, а также подписано разрешение на посещение людьми в «простонародном платье» знаменитого Летнего сада, до того открытого исключительно для великосветских особ. Такого «либерализма» столичному полицмейстеру не простили. Царю нашептали, что Баранов сам не слишком благонадёжен и в душе он «красный». Царь нашёптываниям внял.
Решающую роль в смещении Баранова с высокого поста сыграл министр внутренних дел генерал Николай Павлович Игнатьев, откровенно завидовавший деловой хватке и возрастающему авторитету столичного градоначальника. Именно с его подачи должность градоначальника упразднили, едва положение в столице стабилизировалось. Но гонитель Баранова торжествовал недолго. Вскоре, разобравшись во всём, Александр III имел одну беседу с графом Игнатьевым, долго и допоздна, а на следующее утро прислал сказать ему, что из состоявшегося разговора он сделал лапидарный вывод: «вместе служить России мы не можем». И министр всё понял, как понял его самого год назад и Баранов…
В результате снятый с должности Баранов был отправлен в Архангельск «чиновником по особым поручениям» в бессрочную командировку-изгнание. Архангельск Баранову пришёлся по душе. Рядом порт, суда приходят сюда со всего мира, шум прибоя и крик чаек – всё, что дорого настоящей морской душе. Имея столичный опыт, Баранов быстро навёл порядок и в городе, и в порту. Перевёл дух, теперь, казалось, можно немного и расслабиться. Но не тут-то было. Прибывший фельдъегерь вручил Баранову высочайший указ о назначении его губернатором Нижнего Новгорода. Делать нечего, надо ехать. На берегу Белого моря он пробыл чуть более трёх месяцев.
…Петербургский период Н. М. Баранова – недочитанная строка в истории России. Как остались недочитаны и «барановские 100 дней» в Архангельске. Некое сочетание грубого изгнания с ответственной командировкой. Малый срок и многие труды…
Вещей у Баранова было на пару чемоданов, не более. В день собрался, передал дела с печатью гербовой – и в дорогу. Начинался самый важный этап его беспокойной и удивительной жизни.
Итак, в середине 1882 года, уже в чине генерал-лейтенанта, Баранов становится губернатором Нижнего Новгорода. Ситуация там была непростая. После отставки нижегородского губернатора графа Кутайсова немногим более года Нижегородской губернией управлял свиты. Его Величества генерал-майор Николай Александрович Безак. Ни городом, ни губернией Безак не интересовался, просто отбывал номер на должности. Это сразу сказалось на положении дел в Нижнем. Кроме этого, Поволжье почти каждый год лихорадило: то неурожаи и опасность возникновения голода, то холера, то массовые грабежи местного люмпена… А потому никто особо не удивился, что для исправления положения дел в столь важной для империи губернии был определён именно Баранов. Впрочем, герой «Весты» был настроен решительно.