В октябре 1924 года за участие в боевых действиях против басмачей и проявленное при этом мужество и геройство приказом РВСР № 267 начальник политотдела 2-й отдельной Туркестанской кавалерийской бригады Г.М. Штерн был награжден орденом Красного Знамени.
В октябре 1924 года, по возвращении с Туркестанского фронта, Г.М. Штерн становится начальником политотдела 7-й Самарской имени Английского пролетариата кавалерийской дивизии, расквартированной в Минске. Участвует в подготовке и издании книги «7-я Самарская и ее герои». С мая 1925 года Штерн становится военкомом 7-й Самарской кавалерийской дивизии. Понимая, что для дальнейшего продвижения по воинской службе полученных ранее знаний и приобретенного военного опыта недостаточно, Григорий Михайлович просит направить его на курсы усовершенствования высшего начсостава при Военной академии имени М.В. Фрунзе. В феврале 1926 года его просьба была удовлетворена.
После завершения обучения на курсах, в июле 1926 года, Г.М. Штерн становится командиром и военкомом 9-го Путиловско-го кавалерийского полка 2-й кавалерийской дивизии. Вскоре Григорий Михайлович зачисляется слушателем на восточный факультет Военной академии им. М.В. Фрунзе. За время учебы выделялся на фоне других обучающихся незаурядными лингвистическими способностями. Свободно овладел немецким, английским, французским языками. Выступал перед слушателями академии с лекциями на китайском языке. Особый интерес у Штерна вызывала военная история. Под руководством опытных преподавателей он изучает стратегию и тактику, анализирует ход и проведение военных сражений разных войн.
После окончания академии, в июне 1929 года, Григорий Михайлович Штерн был направлен на ответственную работу помощником начальника 4-го отдела 4-го управления Штаба РККА. С декабря 1929 года находится в распоряжении народного комиссара по военным и морским делам СССР. В 1931 году в составе группы командиров РККА под руководством В.К. Путна Штерн был командирован на учебу в Германию.
В ноябре 1931 года при содействии Н.Э. Якира и Я.Б. Гамарника Штерн попадает в Секретариат НКО, где вскоре становится одним из ближайших советников «первого красного офицера» К.Е. Ворошилова — народного комиссара по военным и морским делам и председателя РВС СССР.
С ноября 1931 года Г.М. Штерн — и.о. секретаря народного комиссара обороны СССР, с мая 1933 года — начальник Управления делами народного комиссара по военным и морским делам СССР и председатель Реввоенсовета СССР (с декабря 1934 года — наркома обороны СССР). С февраля 1935 года Г.М. Штерн состоит комиссаром для особо важных поручений при наркоме обороны СССР.