Николай Николаевич-младший участвовал в Русско-турецкой войне 1877-1878 годов. Состоял офицером для особых поручений при своём отце, главнокомандующем генерал-фельдмаршале великом князе Николае Николаевиче-старшем. За участие в форсировании реки Дунай в составе авангардной пехотной дивизии генерала М. И. Драгомирова был награждён орденом Святого Георгия 4-й степени. За воинские отличия под Шипкой получил Золотое оружие и в 22 года чин полковника.
После войны великий князь долгое время служил в гвардейской кавалерии. В1900 году получил чин генерала от кавалерии. В 1905 году Николай Николаевич-младший назначается председателем Совета Государственной обороны, созданного по его же инициативе. Затем добивается выделения Генерального штаба из состава Военного министерства и из-под контроля военного министра. Под руководством великого князя было пересмотрено Положение о полевом управлении войсками.
С того же 1905 года и до начала Первой мировой войны Николай Николаевич-младший являлся главнокомандующим войсками Гвардии и Петербургского военного округа, то есть был одной из ключевых фигур в генералитете России.
Начальником штаба Ставки Верховного главнокомандующего стал генерал-лейтенант, затем генерал от инфантерии Н. Н. Янушкевич, до того возглавлявший Генеральный штаб. Он был доверенным лицом великого князя Николая Николаевича-младшего, и потому к нему военный министр Сухомлинов относился неприязненно. Он говорил о Янушкевиче:
— Наш начальник Генерального штаба ещё совсем дитя. Ему ли начальствовать над штабами...
Именно Янушкевич сыграл решающую роль в начале фронтовой судьбы Михаила Васильевича Алексеева. Кандидатура на должность начальника штаба Юго-Западного фронта обсуждалась между ним, Ивановым и Верховным главнокомандующим:
— Николай Николаевич. Ваша кандидатура на должность начальника штаба фронта?
— Она уже прошла обсуждение в Генеральном штабе. Рекомендуем генерал-лейтенанта Алексеева Михаила Васильевича. Хотя я просил его на должность генерал-квартирмейстера Ставки, но государь мне в том отказал.
— Командира смоленского 13-го армейского корпуса?
— Да, ваше высочество. Опытный работник-оперативник ещё с Русско-японской войны. Исполнял должность генерал-квартирмейстера Главного управления Генерального штаба и начальника штаба Киевского военного округа.
— Что скажет по поводу кандидатуры Алексеева главнокомандующий армиями фронта?
— Ваше высочество. Даю способностям бывшего начальника штаба Киевского военного округа самую высокую оценку. Алексеева я знаю лично. Вне всякого сомнения мы с ним сработаемся.