В Красную армию вступил добровольцем в апреле 1918 г. В период Гражданской войны участвовал в боях против белочехов под Сызранью, Самарой, Бугульмой, Симбирском и Казанью, против белоказаков под Уральском, воевал на Западном фронте против белополяков. В боях был дважды ранен и контужен. С марта 1922 г. участвовал в боях с басмачами на Туркестанском фронте.
В межвоенный период служил в составе Среднеазиатского военного округа: командир кавалерийского полка, отдельной сводной Узбекской бригады, 1-й Туркестанской горнострелковой дивизии. С января 1933 г. — начальник и военком Объединенной Среднеазиатской военной школы им. В. И. Ленина (с марта 1937 г. — Ташкентское военное училище им. В. И. Ленина). С введением в РККА генеральских званий в июне 1940 г. присвоено звание генерал-майор. В том же году назначен командиром 194-й стрелковой дивизии. С марта 1941 г. формировал 27-й механизированный корпус и был назначен его командиром.
С началом Великой Отечественной войны корпус был направлен в район Брянска. После расформирования корпуса в июле 1941 г. командовал 25-й Чапаевской стрелковой дивизией на Южном фронте. В октябре 1941 г. принял командование Отдельной Приморской армией, по 1 июля 1942 г. был одним из основных руководителей обороны Севастополя, был эвакуирован на Кавказ.
С октября 1942 г. возглавлял Черноморскую группу войск Закавказского фронта, а с мая 1943 г. Северо-Кавказский фронт. Войска под его командованием успешно участвовали в Керченско-Эльтигенской десантной операции, в боях при освобождении Таманского полуострова, городов Майкопа, Краснодара и Новороссийска. С августа 1943 г. — генерал-полковник, с октября того же года — генерал армии.
В марте 1944 г. за неудачное проведение ряда локальных наступательных операций освобожден от должности командующего Приморской армией, зачислен в резерв Ставки ВГК и снижен в звании до генерал-полковника. В марте 1944 г. назначен командующим 33-й армией Западного фронта. С апреля того же года — командующий войсками 2-го Белорусского, а с августа — 4-го Украинского фронтов. С апреля 1945 г. — в должности начальника штаба 1-го Украинского фронта. В октябре 1944 г. вновь присвоено воинское звание генерал армии.
После войны командовал войсками Туркестанского военного округа, был первым заместителем главного инспектора Советской армии. С апреля 1953 г. — начальник Главного управления боевой и физической подготовки, с марта 1955 г. — первый заместитель главнокомандующего Сухопутными войсками, с января 1956 г. — главный инспектор Министерства обороны СССР.