Ставший в 1924 г. начальником Штаба РККА Фрунзе, лично знавший о блестящих оперативных способностях Шапошникова, взял его своим помощником. Главное, чем пришлось заниматься двум талантливым военачальникам и всему аппарату Штаба, — проведение масштабной военной реформы. Преобразования затронули устройство армии и ее организационно-штатную структуру, систему комплектования и подготовку командных кадров, уставную регламентацию жизни войск и систему снабжения. Борис Михайлович же взялся за обобщение практики генеральных штабов различных стран с тем, чтобы выработать необходимые рекомендации для учреждения подобного органа в Красной Армии.
Результатом многолетней работы стал выход в 1927—1929 гг. трехтомного труда «Мозг армии», ставшего событием в развитии военно-стратегической мысли в СССР. Книга знакомила с основными взглядами автора на характер современной войны и ее масштабы, давала представление о требованиях, предъявляемых войной к органам оперативного управления и их работникам, четко определяла место Генерального штаба в системе стратегического руководства войсками, его структуру, порядок организации его работы.
Службу в высших штабах (в 1928—1931 гг. он возглавлял Штаб РККА) и теоретические изыскания Шапошников более десяти лет сочетал с командной деятельностью. Начиная с 1925 г., он командовал войсками Ленинградского (дважды), Московского и Приволжского военных округов, несколько лет руководил Военной академией имени М.В. Фрунзе. И все же главной сферой деятельности, в которой его талант проявился в наибольшей степени, была штабная сфера. В мае 1937 г. после повторного двухгодичного командования войсками ЛВО командарм 1-го ранга Шапошников был назначен начальником Генерального штаба РККА и заместителем народного комиссара обороны СССР.
Политический фон, на котором началась его деятельность на посту руководителя Генштаба, благоприятным не назовешь. Страна все глубже погружалась в пучину репрессий, которая все более энергично затягивала и Вооруженные Силы. Назначение Бориса Михайловича на должность последовало накануне суда над группой высших командиров — Тухачевским, Уборевичем и еще шестью военачальниками. При этом испытанием его лояльности властям предержащим стало привлечение Шапошникова к проведению суда в качестве члена Специального военного присутствия. Не следует забывать, что на посту руководителя Генштаба он сменил маршала Егорова, который через непродолжительное время также был репрессирован. Остается добавить, что и на самого Бориса Михайловича некоторые обвиняемые под давлением следствия дали показания о его антисоветской деятельности. Власть заставила будущего маршала идти словно по минному полю: один неверный шаг, малейшее подозрение в критическом взгляде на политический режим — и конец. Все это не могло не отражаться на его психологическом и физическом (без того нездоровом) состоянии.