25 января 1856 года двадцатичетырехлетний Михаил вступил в исполнение обязанностей генерал-фельдцейхмейстера и был назначен генерал-адъютантом. 25 августа 1860 года великий князь Михаил Николаевич был произведен в генералы от артиллерии, а 6 декабря 1862 года назначен наместником Кавказским и командующим Кавказской армией.
Как можно было управлять артиллерией империи из Тифлиса, не имея ни железной дороги, ни телеграфной связи с Петербургом, понять невозможно. Но, увы, в многострадальной России и не такое бывало. Однако, несмотря на отсутствие генерал-фельдцейхмейстера, а может и в связи с этим, наша артиллерия в 1863-1867 годах делает невиданный в истории технический скачок и переходит от гладкоствольных пушек с деревянными лафетами образцов 1805-го и 1838 года к нарезным пушкам образца 1867 года с клиновыми затворами и железными лафетами. А в начале 1877 года наша артиллерия вслед за Германией переходит на орудие образца 1877 года, то есть орудия с каналом современного образца. Идя в фарватере фирмы Круппа, русская артиллерия на 10-20 лет опередила страны Западной Европы. К примеру, британский флот перешел на казнозарядные орудия лишь в 1885-1886 годах. Но, увы, Михаил Николаевич никакого отношения к прогрессу в нашей артиллерии не имел.
От дел государственных мы перейдем к семейным делам великого князя Михаила Николаевича. В 1857 году он женился на принцессе Цецилии-Августе Банденской, получившей при переходе в православие имя Ольга Федоровна. В то время Великое герцогство Баденское было независимым государством. Оно располагалось на правом берегу Рейна и представляло собой полосу длиной в 265 верст и шириной в 17-135 верст. Герцогство находилось на границе с Францией и имело важное стратегическое значение. Таким образом, брак с Баденской принцессой, заключенный в 1857 году, имел политическое значение. Однако после Франко-прусской войны 1870 года герцогство вошло в состав Германской империи, а власть великого герцога Баденского, как и других германских князьков, стала чисто символической.
14 апреля 1859 года в семье великого князя родился первенец, которого назвали в честь деда-императора – Николаем. Через год в семье Михаила Николаевича родилась первая дочь – Анастасия, а затем вновь пошли сыновья. В 1861 году родился Михаил, в 1863 году – Георгий, в 1866 году – Александр, в 1869 году – Сергей и, наконец, в 1875 году – Алексей.
Детство детей великого князя Михаила Николаевича прошло на Кавказе. Мальчики росли красивыми, умными и чрезвычайно честолюбивыми. Отец решил передать свой «удел» – генерал-фельдцейхмейстерство – Сергею. Старший же сын Николай должен был стать главнокомандующим русской армии, а Александр – генерал-адмиралом.