Окончив Михайловское артиллерийское училище по первому разряду, А.Н. Гришин, высочайшим приказом от 10 августа 1902 года был произведен в подпоручики и причислен к 5-му мортирному артиллерийскому полку. Прежде чем отправиться к постоянному месту службы, свежеиспеченный подпоручик ушел в 28-дневный отпуск, отгуляв который прибыл 19 сентября на место, в установленный срок.
5-й мортирный артиллерийский полк был расквартирован в городе Коломне Московской губернии. Начались обычные армейские будни — занятия с солдатами, боевая подготовка, изучение материальной части. Видимо, ничего особенного в жизни подпоручика Гришина в это время не происходит. По послужному списку видно, что с 16 сентября 1903 года он опять находился в 28-дневном отпуске с сохранением содержания «по домашним обстоятельствам», из которого прибыл ранее срока на один день.
Начавшаяся вскоре Русско-японская война была первым испытанием для молодого артиллерийского офицера. В полку была объявлена мобилизация. 1 июня 1904 года подпоручик Гришин был командирован к себе на родину, в город Тамбов, в распоряжение Тамбовского уездного воинского начальника «для приема и препровождения запасных лошадей для штаба 6-го Сибирского армейского корпуса» (корпус формировался в это время в Московском военном округе и готовился к отправке на фронт). Уже 8 июня он прибыл обратно из командировки. 27 июня в Коломне состоялся парад частей, отправляющихся на Дальний Восток, на котором присутствовал только что прибывший в город Император Николай II. Перед ним торжественным строем прошли 5-й и 6-й Восточно-Сибирские саперные батальоны и 5-й мортирный артиллерийский полк.
7 июля Гришин в составе полка проследовал по железной дороге на Дальний Восток, на театр военных действий и 3 августа перешел границу и вступил в пределы Маньчжурии.
С 3 августа 1904 по 10 ноября 1905 года он находится в составе действующей армии на театре военных действий. Уже в августе участвует в крупном сражении с японцами под Ляояном. Сразу после окончания этой битвы, 29 августа, он высочайшим приказом производится в поручики, а вскоре, «за отличие в бою с японцами под городом Ляояном» награждается своим первым орденом — Святой Анны 4-й степени с надписью «За храбрость».
За время этой войны поручику Гришину удалось поучаствовать в сражении на реке Шахэ, зимнем сражении при селении Сандепу и еще нескольких небольших боях. 7 апреля 1905 года он прибыл с батареей в Харбин.
Русско-японская война была неудачной для России, но на Гришина это никак не повлияло — за время боевых действий ранений и контузий не имел, набрался боевого опыта и получил первую награду. 10 ноября 1905 года он возвращается в Россию и сразу же прикомандировывается к 8-му Восточно-Сибирскому стрелковому артиллерийскому дивизиону.