В конце 1940 года дивизия передала 4-й танковый полк и часть личного состава других частей и подразделений для формирования новой 13-й танковой дивизии и получила в штат 304-й моторизованный полк. Теперь она состояла из 3-го танкового полка (увеличенного до трех батальонов), 2-го и 304-го моторизованных полков (по два батальона в каждом), 74-го танкового артиллерийского полка (три дивизиона), 2-го мотоциклетного батальона, 5-го моторизованного разведывательного батальона, 38-го дивизиона истребителей танков и 38-го батальона связи. Реорганизованная австрийская танковая дивизия в марте 1941 года была направлена в Румынию и той же весной приняла участие в кампании на Балканах. Вместе с 6-й горной дивизией австрийские танкисты в апреле заняли Афины, разгромив британские экспедиционные войска. После этого дивизия была отведена в Баварию на пополнение и провела лето в Польше и Юго-Западной Франции, прежде чем в сентябре попасть на Восточный фронт. Несмотря на упорные бои, небольшим подразделениям дивизии удалось добраться до самых Химок — небольшого речного порта в 8 км от Москвы, а 5-й танковый разведывательный батальон даже успел доложить, что видит Кремль, прежде чем был отброшен началом советского зимнего наступления 1941/42 года. Дивизия сражалась под Клином, Карманово, Белым и на Ржевском выступе, где понесла большие потери.
В 1942 году 5-й разведывательный батальон был реорганизован, став 24-м мотоциклетным батальоном, и передан в состав 24-й танковой дивизии. Позднее 2-й мотоциклетный батальон (оставшийся в составе 2-й танковой дивизии) стал 2-м танковым разведывательным батальоном. Также 2-я танковая дивизия лишилась двух из трех своих танковых батальонов, которые были переброшены на южный участок фронта для участия в основном ударе немецких войск в направлении Волги и Кавказа. (В марте 1943 года был сформирован новый I батальон 3-го танкового полка, оснащенный «пантерами».) Оставаясь на центральном участке фронта, потрепанная и обескровленная дивизия участвовала в оборонительных боях 1942 года, отступлении из-под Ржева (1943 год), сражениях под Курском, Орлом, Киевом, Гомелем и в среднем течении Днепра в начале зимы 1943/44 года, где понесла огромные потери. После вывода в Амьен (Франция) на отдых и пополнение дивизия получила в свой состав 507-й тяжелый танковый батальон (на «тиграх»), а I батальон 3-го танкового полка был оснащен «пантерами». Кроме того, генерал фон Люттвиц хорошо подготовил дивизию к боям против англо-американских войск, что очень пригодилось в последующие несколько месяцев. Дивизия получила приказ о переброске в Нормандию 10 июня и под прикрытием ночной темноты, утренних туманов и маскировки сумела добраться до места назначения, проходя в сутки в среднем почти по 100 км по сильно поврежденным дорогам, и остаться незамеченной, несмотря на полное превосходство Союзников в воздухе. Это было невероятное достижение для немецкой дивизии во время боев в Нормандии. В результате 2-я танковая дивизия сумела застать врасплох опытную британскую 7-ю танковую дивизию и отбить Виллер-Бокаж и стратегически важную высоту 147 (15–16 июня). Затем она удерживала оборону на участке вокруг Комона и составляла основу немецкой обороны вплоть до конца июня, когда она была переброшена в район Вира. Дивизия нанесла высадившимся Союзникам тяжелый урон, но и сама понесла большие потери. В том числе выбыли из строя все командиры полков и большинство командиров батальонов. Генерал фон Люттвиц продолжал командовать дивизией, несмотря на ранение. В августе 2-я танковая дивизия приняла участие в неудачной контратаке под Мартеном и, оставшись всего с 25 танками, была окружена под Фалезом. Прорвавшись, несмотря на потери, дивизия была отведена в тыл. К 1 сентября 1944 года в дивизии оставалось всего 27 танков (большинство из них получены с пополнениями), 12 орудий и 1600 человек. Переформирование дивизии проходило в Битбурге и Виттлихе (Эйфель, запад Германии), где в ее состав были временно включены остатки 352-й пехотной дивизии. Дивизия вновь была брошена в бой во время Арденнского наступления в декабре 1944 года. Она шла в первом эшелоне наступающих войск и продвинулась дальше всех. Когда Союзники перешли в контрнаступление, дивизия была разгромлена.