Как и его командир, Гилле не отличался покладистым характером. Кроме того, как профессиональный офицер (то есть имевший определенное военное образование) он постоянно критиковал действия руководства СС и лично рейхсфюрера. Не без оснований Гилле считал Гиммлера и его советников дилетантами, ничего не понимавшими ни в тактике, ни в стратегии. Кроме того, Гилле претили методы Гиммлера, старавшегося установить систему тотальной слежки и заидеологизировать войска СС. Как мог, Гилле противился этому, активно борясь с наличием информаторов в дивизии. Учитывая, что Гилле никогда не скрывал своей точки зрения, надо отдать должное Гиммлеру: он закрывал глаза на эти, казалось бы, важные в идеологических войсках факты и не преследовал Гилле, понимая, что его профессиональные знания крайне важны для боеспособности дивизии «Викинг». (И это относилось не только к Гилле; во время войны было достаточно случаев, когда Гиммлер переманивал офицеров в войска СС и присваивал им высокие звания при том, что они даже не являлись членами НСДАП.) Тем более что в главном противоречий между Гилле и рейхсфюрером СС не было: Герберт был немецким националистом, убежденным нацистом и яростным антикоммунистом, считавшим, что борьба с большевизмом – единственный путь для спасения Германии. Естественно, все это не прошло мимо Гиммлера. Он, например, заявил отвечавшему в дивизии за политическое воспитание оберштурмбаннфюреру СС Фику: «В нашем аристократическом 5-м артиллерийском полку ношение коричневых рубашек осуждается. Мне придется прислать вам наряд солдат, чтобы помочь переодеться!».
Перед началом кампании на Востоке дивизия «Викинг» была включена в резерв 1-й танковой группы группы армий «Север», и в июне она перешла границу СССР и взяла курс на Лемберг (Львов). Из действовавших в июне 1941 года на советско-германском фронте дивизий СС «Викинг» первой вступила в бой – это состоялось 29 июня под Тернополем. Дивизия вела бои на Тернопольско-Житомирском направлении, участвовала во взятии Днепропетровска и Сталино (Донецка). После прорыва в октябре 1941 года к Невинномысску и Успенскому дивизия начала наступление на Миус и 1 января 1942 года вошла в город. Заслуги Гилле были тем временем отмечены повышением его в звании до оберфюрера СС (1 октября 1941 года). На Миусском плацдарме дивизия оставалась до второй половине июля 1942 года, ведя тяжелые бои в районе Матвеева Кургана на юго-западе Ростовской области. 28 февраля 1942 года Гилле был награжден Германским крестом в золоте.
Дивизия СС «Викинг» стала заслуженно пользоваться очень высоким авторитетом у немецких генералов, выделявших ее как отличную моторизованную ударную часть. Узнали «Викинг» и советские войска. Немецкий исследователь Фрашка в своей книге «С мечами и бриллиантами» описывает следующий случай. В сентябре 1941 года в ходе боев дивизия «Викинг» наголову разгромила XXVII советский стрелковый корпус. Командир корпуса генерал-майор Павел Данилович Артеменко 27 сентября был взят в плен. В плену Артеменко заявил, «что восхищен храбростью “Викингов”, хвалил их невиданную доселе ударную силу, отчаянную смелость и тактический ум их офицеров. На советской стороне были рады, когда “Викингов” однажды отвели; наконец, можно было немного передохнуть. Но эта передышка продолжалась недолго. Когда через три дня солдаты войск СС появились вновь и пошли в наступление, начался “настоящий ад”, сказал Артеменко. “Конец вы видите… мой корпус разгромлен, уничтожен, мой штаб и я в плену”».