Существует несколько версий спасения Конева от неминуемого ареста и расстрела. По одним данным за Конева заступился
Жуков, по другим — Берия. Как бы то ни было, 10 октября 1941 года генерал-полковник Конев был снят с должности командующего Западным фронтом и назначен заместителем командующего Западным фронтом. 17 октября 1941 года, для обороны Москвы с северо-западного направления из состава Западного фронта был выделен Калининский фронт, и Конев был назначен командующим этим фронтом.
В Ржевской битве войска Конева понесли огромные потери, не добившись никаких успехов. В августе 1942 года Конев повторно назначен командующим Западным фронтом. Войска несли ни с чем не сравнимые потери в грандиозных наступательных операциях, которые заканчивались безрезультатно. 27 февраля 1943 года Сталин во второй раз снял Конева с должности командующего Западным фронтом как не справившегося со своими обязанностями.
Сняв с Западного фронта, Сталин назначил Конева командующим Северо-Западным фронтом, наступательную операцию которого Конев тут же провалил. Сталин снова снимает Конева и назначает командующим Степным военным округом. Название этого округа вводит в заблуждение: на самом деле Степной военный округ представлял собой сверхмощный стратегический резерв — самый мощный из всех, которые когда-либо создавались в истории войн. Степной военный округ располагался позади двух советских фронтов, которые обороняли Курский выступ.
9 июля 1943 года Степной военный округ был преобразован в Степной фронт и 17 июля введен в сражение. 26 августа 1943 года за отличие в Курской битве Сталин присваивает Коневу звание генерала армии. Фронт тем временем вышел к Днепру и с ходу его форсировал. В октябре 1943 года Степной фронт был переименован во 2-й Украинский.
20 февраля 1944 года за отличия в Корсунь-Шевченковской операции Конев получает бриллиантовую звезду Маршала Советского Союза. 26 марта 1944 года войска 2-го Украинского фронта, развивая наступление, первыми вышли на западную границу Советского Союза и вступили на территорию Румынии. По приказу Сталина в этот день Москва салютовала войскам 2-го Украинского фронта 24 артиллерийскими залпами из 324 орудий.
В мае 1944 года Сталин ставит Конева на главное направление войны, назначив командующим 1-м Украинским фронтом. В июле и августе 1944 года войска фронта прорываются на территорию Польши, форсируют Вислу на одном из участков и занимают Сандомирский плацдарм.
В январе 1945 года войска 1-го Украинского фронта во взаимодействии с войсками 1-го Белорусского фронта ворвались на территорию Германии. В апреле эти два фронта проводят Берлинскую операцию, после чего 1-й Украинский фронт наносит стремительный удар на Прагу.