На фронт, где находился его полк, Александр Михайлович не попал, поэтому поступил в распоряжение местного военного комитета. Сначала работал инструктором всевобуча в волости. А потом влился в Красную Армию, командовал взводом, ротой, батальоном, полком. Гражданскую войну закончил на Западном фронте.
Подготовленного и умелого боевого командира А. М. Василевского оставили в кадрах армии. С любовью отнесся он к беспокойным и бесконечным хлопотам — подготовке личного состава. Радовался, когда росла боевая выучка бойцов.
Военная служба Александра Михайловича сложилась так, что долгие годы он находился в одной 48-й стрелковой дивизии и откомандовал всеми стрелковыми полками соединения. В каждом работал до седьмого пота, всюду успевал — и на тактические занятия, и на стрельбы, и на строевую подготовку. Одновременно много читал, серьезно изучал труды по военной истории, военной науке.
В эти годы А. М. Василевский сложился как профессиональный военный, выработал в себе все лучшие качества, требуемые для советского командира. Его отличали обширные военные познания, умение точно и кратко изложить мысль, написать приказ, донесение в вышестоящий штаб, оформить документы о боевой учебе части. Он был предельно обязательным и исполнительным. Мог переносить длительные физические перегрузки. Требовательность к подчиненным сочеталась с уважением к личности бойца и командира.
Год от года рос авторитет Василевского. Его уважало командование военного округа. Знал нарком обороны. Уже в те годы к его голосу прислушивались советские военные теоретики. И когда в начале 30-х годов состоялось назначение Василевского в Управление боевой подготовки Красной Армии, его сослуживцы радовались не меньше самого Александра Михайловича.
— Здесь, где разрабатываются сложные вопросы оперативной подготовки войск, Василевский будет на месте, — говорили они.
Новое место, новые задачи. Опыта, кругозора, накопленного в войсках, явно не хватало для квалифицированного решения сложных стратегических и оперативных вопросов. Нужны были глубокие теоретические знания, и Александр Михайлович решает поступить в Академию Генерального штаба.
Незаурядные способности позволили ему успешно закончить академический курс и возглавить в Генштабе отделение оперативной подготовки. Теперь ему доверяют в качестве военного эксперта участвовать в работе правительственных делегаций, выезжающих за границу, привлекают к разработке оперативного плана обороны страны. С Генеральным штабом, напишет в своей книге Василевский, «связаны самые лучшие годы» в его жизни.