Когда 1 августа 1914 года в Германии была объявлена всеобщая мобилизация, кадетам объявили, что их учеба закончена, поздравили со званием фенриха и отправили в войска. Первым местом службы молодого кандидата в офицеры – Герберту было только семнадцать с половиной лет – стал 30-й (2-й Баденский) полевой артиллерийский полк, дислоцированный в Раштатте. Здесь он прошел азы военной службы, а в декабре 1914 года его посчитали готовым к фронту и отправили во вновь сформированный 55-й резервный артиллерийский полк, и 27 января 1915 года Гилле был произведен в первое офицерское звание лейтенанта. Все долгие три с половиной года войны Гилле провел в рядах 75-й резервной дивизии. Он участвовал в боях во Франции, командовал взводом и батареей; Гилле был хорошим офицером – таких были тысячи в германской имперской армии, – и к концу войны его грудь украшали Железный крест 1-го и 2-го класса, а также брауншвейгский Крест за заслуги 1-го класса.
В ноябре 1918 года война закончилась – Германия проиграла. За этим неизбежно последовало сокращение армии, остаться в стотысячном рейхсвере имели шансы профессиональные офицеры, с опытом ведения военных действий. Предпочтение отдавалось генштабистам. Но Гилле, несмотря на огромный опыт, приобретенный на фронте, оставался офицером, получившим звание за отличия, а не по результатам учебы. Это был большой минус, при том что руководству рейхсвера было из кого выбирать. Кроме того свою роль сыграл и далеко не героический внешний вид Гилле: его длинная сутулая фигура и спрятавшиеся за очками подслеповатые глаза не очень укладывались в образ офицера, каким его представляли себе создатели рейхсвера. Надо заметить, что здоровье Гилле было сильно подорвано вследствие многочисленных ранений, полученных им на фронте, но это во внимание не принималось. В результате 31 марта 1919 года Гилле был произведен в обер-лейтенанты и уволен с военной службы. В 21 год он оказался на улице; на карьере к которой он готовился с детства, можно было поставить крест. Армии Герберт Отто Гилле был не нужен.
Но Гилле не собирался унывать, не бросился в пучину политики и в ряды Добровольческих корпусов. Он не стал принимать участие в фактически пылавшей в Германии гражданской войне. Хотя с симпатиями Гилле все было абсолютно ясно: как и многие тысячи оставшихся не у дел фронтовиков, он ненавидел оставившую его без куска хлеба Веймарскую республику и поддерживал идеи реванша и национального возрождения Германии. Но надо было устраивать свою жизнь и он снова засел за учебники, штудировал агрономию и экономику.