24 декабря Гитлер отдал приказ о переходе в наступление на Будапешт, и в первый день последнего года войны эсэсовцы Гилле пошли в атаку на внешнюю линию кольца советских войск, но им удалось продвинуться лишь на несколько километров к позиции 4-й гвардейской армии, а 11 января Гилле перешел к обороне. Вскоре на фронт начали прибывать переброшенные с Запада части 6-й танковой армии СС (в состав которой был теперь включен и IV танковый корпус СС). Наибольший успех среди наступающих частей пришелся как раз на корпус Гилле – 18 января его танки взяли Дунапентеле и подошли примерно на 20 километров к городу. Но сил развить успех у немецкого командования не было, кроме того, Гитлер, который на этом этапе стал вмешиваться уже в тактическое руководство военными действиями, отдал приказ об изменении направления главного удара. В результате операция провалилась и привела лишь к большим и бессмысленным потерям. 27 января советское командование, подтянув 26-ю и 46-ю армии, перешли в атаку и отбросили корпус, которому удалось закрепиться на позициях в Бмаконском лесу к северу от озера Балатон.
29 января Гилле предпринял третью – и последнюю – безуспешную попытку прорваться к окруженной группировке, а 31 января советские войска перешли в наступление по всему фронту от Дуная до Платтензее (немецкое название озера Балатон). Обреченный гарнизон «крепости Будапешт» перестал существовать 11–12 февраля. Но Гитлер не желал отказываться от Будапешта и отдал приказ о подготовке нового наступления. 6 марта немецкие войска атаковали противника по обе стороны Платтензее – к этому времени в подчинении Гилле кроме все тех же танковых дивизий СС «Мертвая голова» и «Викинг» находилась еще и 356-я пехотная дивизия.
16 марта советская группировка, развернутая западнее Будапешта, перешла в наступление и отбросила противника на исходные позиции. Части IV танкового корпуса СС чуть было не оказались в новом окружении, однако Гилле, не испросив разрешения у Ставки, санкционировал отход «Викинга» и тем самым избежал катастрофы.
Последние полтора месяца войны Гилле уже не пришлось принять участие в каких-либо крупных оборонительных, а тем более наступательных операциях – ему оставалось лишь с боями медленно отходить на Запад – на территорию Австрии.
Плен и освобождение
Проведя всю войну на советско-германском фронте, Гилле вполне отдавал себе отчет, что сдача в плен советским войскам для его солдат равносильна смерти – вернее, так он считал, на самом деле в планах советского командования массовых расстрелов эсэсовцев не стояло, но длительное заключение после войны в лагерях им было обеспечено. Как и большинство немецких генералов (и не только генералов войск СС), Гилле сделал все возможное, чтобы не сдаваться Красной Армии, и продолжил отход на Запад.