После начала войны с СССР Шернер был переброшен в район Мурманска — с юга на север. Всю зиму 1941–1942 годов его полки вели оборонительные бои, не давая советским войскам продвинуться вперед. В январе 1942 года Шернер становится командиром корпуса «Норвегия», переименованного в 19-й горно-гренадерский корпус, и получает звание генерал-лейтенанта. В октябре 1943 года его переводят в Крым на должность командира 40-го танкового корпуса, ставшего вскоре «группой Шернера».
Когда Шернер принял командование группой армий «А», переименованной вскоре в «Южную Украину», вверенные ему войска на этом участке фронта, теснимые советскими воинами, спешно отступали. В это же время была разгромлена группировка армий «Центр», а части, входившие в группу армий «Север», тоже дрогнули.
И вот генерал-полковник Гейнц Гудериан, ставший к этому времени начальником Генерального штаба Сухопутных войск, 23 июля 1944 года этого «мастера оборонительных боев» рекомендует перебросить на группу армий «Север». Гитлер согласился, так как знал, что Шернер привык выполнять все распоряжения фюрера, даже если они были на грани возможного. От своих подчиненных он требовал тоже «драконовских методов руководства», и его жестокость с расстрелами и виселицами на некоторое время помогали Шернеру удержать фронт от развала. Но в конце концов большая часть его войск попала в окружение, образовав так называемую группировку «Курляндия», перемолотую нашими войсками в конце войны. Он, очевидно, забыл или не знал поучений Наполеона о том, что война состоит из непредусмотренных событий.
В начале апреля 1945 года Шернеру было присвоено звание фельдмаршала, а 10 апреля он получил маршальский жезл лично из рук Гитлера. Он стал последним немецким военачальником, получившим это звание. 27 апреля фюрер охарактеризовал Шернера как «единственного человека, показавшего себя истинным военачальником на всем Восточном фронте», а на следующий день он подписал приказ о назначении Шернера главнокомандующим Сухопутными войсками.
Руководство в Берлине авантюрно надеялось на чудо, планируя при помощи Шернера спасти Германию, но, как говорится, перед сражением каждый план хорош, после сражения каждый план плох.
Части Шернера были окружены под Прагой. «Истинный военачальник», бросив свое войско, бежал. Его самолет совершил аварийную посадку в Восточной Австрии. Некоторое время он скрывался, но 18 мая 1945 года был опознан местными жителями и арестован американцами. Военная контрразведка СМЕРШ и советское командование разыскивали Шернера. Американцы передали пленника советским представителям.