Дивизия была переброшена в Румынию в апреле 1941 года и наступала в Советскую Бессарабию как часть группы армий Юг в конце июня. Здесь, в некоторых областях, сражения первоначально приняли форму некоторого «освобождения», учитывая большое количество этнических немцев (дунайских швабцев, или Donauschwaben), проживавшее в этой прежде румынской области. Пробив «Линию Сталина», дивизия затем приняла участие в сражениях у Кривого Рога, Днепропетровска и Павлограда. После этих тяжёлых боев дивизия была перемещена к реке Миус около Яновки и участвовала в серии наступательных и оборонительных боев в течение зимы, весны и в начале лета. В середине июля прорвалась из «Миусского выступа» и атаковала через реку Дон.
В течение оставшейся части лета 1942 года 198-я пехотная дивизия сражалась в серии боев, все глубже наступая в направлении Кавказа. 6 сентября командующий 198-й дивизии генерал-майор Альберт Бак был убит вместе с его Ia, майором Булем, и его водителем в засаде русских. Дальнейшие атаки на Западном Кавказе в течение осени чередовались с краткими оборонительными операциями, в то время как семнадцатая армия (которой дивизия была подчинена) двигалась к турецкой границе.
Большое стратегическое проникновение, которое позволило бы немцам не только контролировать нефтяные месторождения Кавказа, но также и угрожать тылу войск Союзников в Северной Африке, так и не произошло, и 198-я начала свое долгое отступление с Кавказа в декабре 1942 года. Отступив с боями к Крыму, 198-я была выведена с фронта на отдых, восстановление и пополнение около Запорожья с начала апреля до начала мая 1943 года. После стремительного наступления около Любицкого и Шебелинки дивизия приняла участие в большом наступлении двух групп армий, операции Zitadelle (Цитадель), которое привело к почти полному разгрому последней концентрации немецких сил, способных к началу стратегического наступления на Востоке.
В конце лета 1943 года дивизия сражалась в серии оборонительных операций между позициями на реках Донец и Днепр, включая сражения за Харьков и Кременчуг. К концу августа 198-я отчаянно обороняла водный рубеж Днепра. С сентября до января дивизия принимала участие в сражениях вокруг Фастова и Белой Церкви. Последовали дальнейшие отступления, и немецкие XI и XLII корпуса были окружены около Черкасс; как часть попытки III танкового корпуса пробить котел в середине февраля, 198-я оживленно атаковала, но безрезультатно. Только приблизительно 20 000–25 000 немецких солдат (фактически без техники) в конечном счете прорвались из Черкасского котла, но ценой этого были большие потери сил, пытавшихся прорвать котел извне. Дивизия понесла в тех боях серьезные потери и была практически немедленно брошена в дальнейшие отчаянные оборонительные бои около Ризина. Вскоре после этого большая часть дивизии сама была отрезана около Умани, и сумевшие сбежать части были лишь тенью дивизии. К концу марта остатки дивизии было решено перебросить в Южную Францию для пополнения, и в апреле дивизия навсегда покинула Восточный фронт.