После Гражданской войны окончил особый факультет Военной академии имени Фрунзе. Был командиром корпуса, командующим 2-й отдельной Дальневосточной армией.
26 ноября 1935 года получил звание комдива.
22 февраля 1938 года — звание комкора.
8 февраля 1939 года — звание командарма 2-го ранга.
В 1940 году Сталин провел переаттестацию всего высшего командного состава и ввел новые воинские звания, которые никак не были связаны со старыми. В результате комкор Жуков, например, получил звание генерала армии, а командарм 2-го ранга Конев — звание генерал-лейтенанта.
В начале 1941 года Конев назначен на должность командующего войсками Северо-Кавказского военного округа. В мае 1941 года по приказу Сталина тайно развернул в округе 19-ю армию и лично возглавил ее.
13 июня 1941 года 19-я армия, как и ряд других армий, начала тайное выдвижение в западные районы страны. Война застала 19-ю армию в эшелонах. Все планы Сталина были нарушены, и эшелоны 19-й армии, некоторые части которой уже разгрузились, срочно развернули на Белоруссию, где были окружены и разгромлены главные силы Западного фронта.
11 сентября 1941 года Конев назначен командующим Западным фронтом, 12 сентября получил звание генерал-полковника. 2 октября 1941 года германские войска нанесли удары на флангах Западного фронта. 7 октября ударные группировки вермахта соединились в районе Вязьмы, замкнув кольцо окружения вокруг главных сил Западного фронта. В окружение попали четыре советские армии — 19-я, 20-я, 24-я и 32-я. В их составе было 19 стрелковых дивизий и 4 танковые бригады. Разные источники дают разные сведения о том, сколько было захвачено в плен бойцов и командиров Красной Армии, но в любом случае в плен попало более 600 тысяч человек.
Путь на Москву был открыт.
Однако немцы допустили роковую оплошность: Геббельс сообщил о грандиозной победе по радио, и — невероятно, но это так! — из передачи германского радио советское руководство узнало о смертельной угрозе Москве. Были предприняты поистине невероятные усилия для переброски любых резервов на московское направление. На защиту Москвы были брошены военные училища и части народного ополчения, укомплектованные необученными и непригодными к военной службе людьми старших возрастов. 16 октября в Москве возникла паника, сопровождаемая грабежами и мародерством.
Командующий Западным фронтом генерал-полковник Конев был отстранен от командования. Его ждала судьба генерала армии Павлова, который командовал Западным фронтом в первые дни войны: арест, возложение персональной ответственности за поражение, суд военного трибунала и расстрел в назидание другим.