Выпуск Баранова из корпуса пришёлся на 1858 год. Это было не лучшее время для молодых мичманов. Парусный флот к этому времени уже почти не существовал, а новый паровой ещё только зарождался. Плавать по этой причине было практически не на чём. Поначалу Баранову, правда, повезло, и он сходил в заграничное плавание на корвете «Выборг». Однако на этом морская романтика закончилась, и мичман Баранов был надолго оставлен на берегу во флотском экипаже. Кораблей в ту пору было совсем немного. Старые парусные на дрова списали, а новых паровых ещё не настроили. Должности корабельные по этой причине получали лишь по протекции, а таковой у Баранова, увы, не было. Дядька с отцом уже померли, а более за него замолвить словечко было некому. Правда, вскоре появилась отдушина – суда Русского общества пароходства и торговли (РОПиТ). Новые современные океанские суда и дальние плавания, что ещё надо тем, кто бредит морем! К тому же командному составу РОПиТа сохранялись военные чины. Особого выбора, впрочем, и не было: или прозябать в кронштадтских казармах, или плавать под коммерческим флагом.
Поэтому вскоре после выпуска в том же 1858 году Баранов увольняется из действующего флота для службы на коммерческих судах и поступает в Русское общество пароходства и торговли. Служит на Чёрном море. Плавает старшим офицером на пароходах «Херсонес» и «Таврида», затем в 1859 году три месяца командует пароходом «Веста», а затем полгода старшим офицером на пароходе «Аргонавт»
– и снова капитаном, но уже парохода «Ифигения». На следующий год плавательный ценз Баранова составил три месяца старшим офицером пароходов «Таврида» и «Керчь». Остальную часть времени молодой офицер провёл при конторе РОПиТа, занимаясь вопросами организации судоходства. В конце того же года он вернулся на военную службу и был причислен к комиссии морских артиллерийских опытов. Но боевых кораблей в русском флоте по-прежнему было мало, и на корабельную должность молодой офицер без связей рассчитывать не мог. Энергичная натура Баранова же требовала реальных дел.
На следующий год Н. М. Баранов поступил кандидатом на должность мирового посредника Кологривовского уезда Костромской губернии. Там, будучи владельцем имения (отец к тому времени уже умер), принял активное участие в делах крестьянской реформы как мировой посредник в решении земельных и имущественных вопросов. Этот, казалось бы, незначительный эпизод впоследствии весьма пригодился нашему герою.
В 1862 году Баранов стал лейтенантом, а через год, с началом Польского восстания и вероятностью начала войны с Англией, был зачислен в строевой состав флота. Но и по возвращении на флот на корабли Баранов не попадает, а служит командиром береговой батареи № 7 в Кронштадте. Служба была скучная и не особо перспективная, а потому Николай Баранов, с детства любивший мастерить, чтобы не погрязнуть в рутине, занялся различными усовершенствованиями: то к прицелу крепление новое придумает, то к орудийному станку крепление удобное. О выдумках Баранова скоро прознало начальство. Приехало, посмотрело, подивилось: