Дивизия завершила обучение осенью 1941 года и следующей весной (получив на вооружение немецкие танки) была направлена на Восточный фронт, где принимала участие в ожесточенных боях под Харьковом в мае 1942 года. Она приняла участие в наступлении на Дону и на Кавказ, где ей удалось даже форсировать Терек. Осенью 1942 года она была переброшена на север, к Волге, где в ноябре едва избежала окружения под Сталинградом. Она участвовала в неудачной попытке 4-й танковой армии деблокировать город. К январю 1943 года в ней осталось всего 20 танков — около 20 % от первоначального числа. Тем не менее дивизия участвовала в боях при отступлении к Дону (12 декабря 1942 года — 11 февраля 1943 года), в восточной части Донбасса (14 февраля — 4 марта 1943 года) и при отступлении к Миусу (5-31 марта 1943 года).
В течение первого года на Восточном фронте 23-я танковая дивизия потеряла более 90 % своих танков. Однако количество уничтоженных при этом советских танков превышало ее потери в шесть или семь раз. Например, за период с 13 по 22 мая, когда дивизия вела оборонительные бои в районе Харькова, она уничтожила 136 вражеских танков. 128-й дивизион истребителей танков и I батальон 201-го танкового полка (они были переданы в распоряжение VII корпуса и действовали отдельно) уничтожили еще 86 машин. При ликвидации Изюмского котла юго-западнее Харькова 23-я танковая дивизия доложила об уничтожении еще 95 советских танков. В ходе наступления на Кавказ (28 июня–21 ноября) дивизия уничтожила 349 советских танков, а в боях под Сталинградом, на Дону, в Донбассе и на Миусе (14 декабря 1942 года — 17 марта 1943 года) дивизия уничтожила 282 танка, доведя общий счет до 948 машин.
Весной 1943 года дивизия была выведена в резерв новой 6-й армии и отведена на переформирование в Одессу. Здесь 23-я танковая дивизия получила крупные подкрепления и немало новой техники. Кроме того, она была реорганизована, потеряв штаб бригады и III батальон 201-го танкового полка. Летом и осенью того же года дивизия вела тяжелые бои, принимая участие в отступлении от Миуса и из центральной части Донбасса (4 июля — 17 августа), во втором сражении за Изюм (18–26 августа), а также в отступлении от излучины Донца и в отходе к Днепру (28 сентября — 31 декабря 1943 года). В начале 1944 года дивизия держала оборону на юге Украины, сражаясь, в том числе, на Никопольском плацдарме. В феврале 1944 года дивизия удостоилась благодарности за участие в боях к западу от Днепра, где она в марте была окружена в районе Кривого Рога. Вырвавшись из окружения с огромными потерями, 23-я дивизия сократилась в численности до боевой группы.