Ко времени прибытия на полигон Ордруф (IX военный округ) в состав дивизии входили: 24-й танковый полк (I и II батальоны — соответственно, бывшие 2-й и 21-й кавалерийские полки), 21-й моторизованный полк (бывший 22-й кавалерийский полк), 4-й мотоциклетный батальон (бывший 1-й велосипедный), 89-й танковый артиллерийский полк (бывший 1-й кавалерийский артиллерийский полк), а также части обеспечения дивизии, в наименовании которых слово «кавалерийский» было заменено словом «танковый». Позднее в том же году дивизия получила 283-й армейский зенитно-артиллерийский дивизион.
Тем временем 24-я танковая дивизия была в апреле направлена в 7-ю армию на юг Франции, но уже в июне она была передана 4-й танковой армии, действовавшей на южном участке Восточного фронта. Она сражалась под Воронежем и участвовала в наступлении через Дон к Волге и на Сталинград. В ноябре 1942 года она была окружена вместе с 6-й армией и уничтожена в январе 1943 года, когда город пал.
Новая 24-я танковая дивизия была сформирована в Нормандии в марте — апреле 1943 года под началом штаба 15-й армии. В ее состав вошли 891-й моторизованный полк (из IX военного округа) и 127-й танковый батальон связи из расформированной 27-й танковой дивизии. Новая дивизия состояла из 24-го танкового полка (три батальона), 21-го и 26-го моторизованных полков (по два батальона в каждом), 89-го танкового артиллерийского полка (три дивизиона), 24-го танкового разведывательного батальона, 86-го батальона связи, 40-го дивизиона истребителей танков, 40-го танкового саперного полка и 89-го полевого запасного батальона. В августе дивизия была передислоцирована на север Италии, а с приближением зимы была переброшена на Восточный фронт. В ноябре она сражалась под Никополем и Киевом, где понесла большие потери. К декабрю потери II батальона 24-го танкового полка были так велики, что его пришлось расформировать (III батальон 24-й танковой дивизии был переименован во II батальон). В феврале 1944 года 24-я танковая дивизия участвовала в операции по деблокированию войск, окруженных под Черкассами, за которую она получила официальную благодарность. Той же весной дивизия вновь понесла большие потери при отступлении от излучины Днепра.
К июлю 1944 года остатки дивизии вели бои на юге Польши, но ее численность сократилась до боевой группы (особенно после того, как летом I батальон 24-го танкового полка был передан 1-й танковой дивизии). После переброски в Венгрию дивизия участвовала в контратаке под Дебреценом и понесла тяжелые потери в ходе безуспешной обороны Кечкемета. Вернувшись на северное направление, 24-я танковая дивизия сражалась против советских войск в Словакии, Польше и Восточной Пруссии. К январю 1945 года единственными боеспособными подразделениями дивизии оставались две танковые роты, оснащенные танками «тигр», 21-й моторизованный полк и 40-й дивизион истребителей танков. В марте дивизия была усилена 9-м моторизованным полком (три батальона) из состава 23-й пехотной дивизии, который оставался в распоряжении дивизии до самого конца войны. В мае 1945 года остатки дивизии капитулировали перед советскими войсками.