Вторая 21-я дивизия была сформирована в Рене (Франция) в мае 1943 года на базе 931-й подвижной бригады (велосипедной). Сначала она называлась подвижной дивизией «Запад», но 15 июля была переименована в 21-ю танковую дивизию. Местом постоянной дислокации новой танковой дивизии стал Вупперталь (VI военный округ). В ее состав вошли: 100-й танковый полк, 125-й и 192-й моторизованные полки, 155-й танковый артиллерийский полк, 21-й танковый разведывательный батальон, 220-й танковый саперный батальон, 200-й дивизион истребителей танков, 200-й танковый батальон связи и 305-й армейский зенитно-артиллерийский дивизион. Его части и соединения были набраны из различных источников. Штаб дивизии и 125-й моторизованный полк поступили из состава подвижной бригады «Запад». 1-я и 2-я роты разведывательного батальона были из состава 931-й мотоциклетной роты, а большинство остальных частей поступили из состава танкового учебного разведывательного батальона. Личный состав и техника для танкового полка двухбатальонного состава были получены из 223-го танкового батальона, танковой роты «Париж» и танковой роты LXXXI корпуса (все они были оснащены устаревшими французскими танками). Большая часть артиллерийского полка пришла из 931-го артиллерийского полка, а 192-й моторизованный полк и 305-й зенитно-артиллерийский дивизион были из числа свежесформированных частей. Дивизия располагала опытными бойцами — ветеранами Африканского корпуса, но была оснащена ненадежными легкими танками в основном иностранного (чехословацкого и французского) производства. Это была единственная танковая дивизия во Франции, которая считалась непригодной для службы на Восточном фронте, и, несмотря на то что дивизия действовала достаточно хорошо, новая 21-я танковая дивизия так никогда и не достигла качественного уровня своей предшественницы и не могла сравниться с ней по заслугам.
В апреле 1944 года новая дивизия была направлена в Венгрию, на Восточный фронт, где создалась угроза краха обороны, но в мае ее спешно вернули во Францию и разместили в Нормандии, где фельдмаршал Роммель ожидал высадки Союзников. Она стала единственной танковой дивизией, контратаковавшей уже в день высадки, хотя ее удар запоздал на несколько часов и не принес больших результатов. Более 50 ее устаревших танков были уничтожены британскими машинами, не успев нанести им большого урона. Один батальон был практически уничтожен британскими танками еще до того, как сумел выйти на дистанцию выстрела. Хотя танковый полк был уничтожен, пехота упорно обороняла Кан несколько недель и сыграла важную роль в срыве операции «Гудвуд» — попытки Монтгомери разрешить в свою пользу тупиковую ситуацию под Каном (18–22 июля). Даже сократившись в размерах до боевой группы, 21-я танковая дивизия в конце июля сумела предотвратить разгром британскими войсками 326-й пехотной дивизии. Дивизия была окружена в Фалезском котле и вынуждена была прорываться, несмотря на тяжелые потери.