На австрийской службе Клебер провел семь лет и четыре месяца, добравшись за столь солидный срок только до чина младшего лейтенанта. Увы, с его скромным происхождением рассчитывать на более быструю карьеру не приходилось. Разочарованный невозможностью дальнейшего продвижения по службе, Клебер в 1783 г. подал в отставку. Не исключено, что, случись в ту пору война, ему бы удалось добиться большего, но это был тот редкий случай, когда целых семь лет Австрия ни с кем по-настоящему не воевала, а Война за баварское наследство 1778–1779 гг. оказалась таковой лишь на бумаге. Прусские и австрийские войска ограничились тогда маневрированием, так и не вступив между собой в бой.
Вернувшись в Страсбург, Клебер в 1784 г., благодаря протекции своего сводного брата, преуспевающего архитектора, получил должность инспектора публичных зданий. Наконец-то он смог работать по специальности. В последующие восемь лет он выполнил в городах Верхнего Эльзаса ряд крупных архитектурных проектов — церковь в Шевремоне, госпиталь в Танне, ратуша в Бельфоре, а также построил и реконструировал множество других зданий. Среди них, словно предвестие будущего, был и Египетский павильон в садах замка Этюп, перепланированных по его личному проекту.
Так бы Клеберу и трудиться до конца дней своих, создавая и совершенствуя здания и парки, если бы не началась Революция, которую он с готовностью поддержал. В 1789 г. он вступил в национальную гвардию Бельфора, а в 1791 г. — в Общество друзей Конституции — местный аналог парижского Клуба якобинцев. Какое-то время ему удавалось совмещать работу архитектора и общественную деятельность, пока правительство революционной Франции не взяло курс на развязывание войны с империей Габсбургов. С объявлением в январе 1792 г. дополнительного набора в армию Клебер стал заместителем командира 4-го добровольческого батальона Верхнего Рейна. Месяц спустя, после того как Франция 20 апреля 1792 г. объявила войну императору, Клебер получил чин подполковника и со своим батальоном влился в состав Вогезской армии генерала А. Ф. де Кюстина.
В октябре 1792 г. войска Кюстина двинулись на восток, пересекли границу и, не встречая сопротивления, захватили Майнц. Однако очень быстро подошедшая австро-прусская армия вынудила французов перейти к обороне на левом берегу Рейна. 23 марта 1793 г. союзники форсировали Рейн, и Кюстин, опасаясь окружения, увел свои основные силы в Эльзас. Для защиты Майнца был оставлен 22-тысячный гарнизон, который немедленно блокировала 50-тысячная армия неприятеля. Началась знаменитая оборона Майнца.