Уже в 1920 году он получил место администратора в управлении одного из крупных имений в Бамберге, а в 1923 году также занял должность инспектора общественных фермерских земель. Нельзя сказать, что Гилле был аполитичен, и хотя к какой-либо партии он пока не примкнул, но в правых ветеранских организациях состоял: в 1922–1926 годах он был членом «Стального шлема». Казалось, жизнь начинает налаживаться, но резкое ухудшение экономической ситуации в 1929 году особенно сильно ударило по сельскому хозяйству. Среди тех, кто остался без работы, оказался и Гилле. Уже во второй раз в своей жизни он оказался на улице. В поиске средств к существованию Герберт был вынужден поступить на работу на автомобильную фабрику в Брауншвейге. Эта работа тяготила его, и как только создалась подобная возможность – а это произошло в 1931 году, – он организовал собственный небольшой бизнес.
Теперь у Гилле появилось некоторое количество свободного времени, да и возраст – 33 года – располагал к принятию важных решений и к поиску новых путей в жизни. Семьей Герберт был не обременен, родители к этому времени уже скончались. Эта ситуация привела одинокого человека в ряды партии, члены которой в большинстве своем были те же фронтовики, его боевые товарищи. Партии, где царил дух того самого фронтового братства, по которому так ностальгировали солдаты Первой мировой. Эта партия называлась Национал-социалистической рабочей партией Германии (НСДАП), и 1 мая 1931 года Гилле стал ее членом № 537 337. В том же году – только несколько позже (10 октября) – Гилле вступил и в СС, получил билет № 39 854.
В СС Гилле сразу же был назначен командиром 5-го штурма 1-го штурмбанна 49-го штандарта СС, штаб-квартира которого размещалась в Госларе. 27 января 1933 года он возглавил автомобильный отряд (Motorstaffel) того же штандарта. После прихода Гитлера к власти СС начали быстро расти, а с этим увеличилось и число руководящих постов. Уже 20 апреля 1933 года Гилле стал начальником штаба 4-го абшнита СС в Брауншвейге, а в октябре 1933 года – одновременно фюрером для особых поручений при 2-м штурмбанне 49-го штандарта СС. Но в общем-то карьерный рост Гилле был крайне медленным – особенно если учесть, что в те годы карьеры делались стремительно (взять хоть того же Теодора Эйке). И несмотря на то что в пользу Гилле говорил опыт фронтового офицера, он после трех лет службы в СС все еще оставался унтерштурмфюрером (это звание он получил 20 апреля 1933 года). Если учесть, что унтерштурмфюрер примерно соответствовал званию лейтенанта, можно сказать, что пока что Гилле еще даже не достиг того, что уже имел – он ведь был обер-лейтенантом в отставке.