Приказом начальника штаба Наполеона Луи Бертье от 2 июля 1812 г. военным губернатором был назначен уже известный военный теоретик, пока еще не ставший ренегатом, бригадный генерал, швейцарец Генрих Жомини. Он сменил генерала Ж. Барбанегра, который вскоре был переведен на аналогичную должность в Минск (с 33-м легким полком), а с 26 августа (7 сентября) по 24 сентября (6 октября) был губернатором Смоленска (интересно, что его личная переписка была захвачена русскими войсками). При переводе Барбанегра в Смоленск его место занял генерал Н. Брониковский.
Должности военных генерал-губернаторов также занимали: в Гродно в разное время генералы Брюн и Лебрен, в Белостоке генерал Феррьер.
Генерал-губернатором всего княжества стал граф Дирк ван Хогендорп, оставивший довольно интересные мемуары.
30 августа 1812 г. Жомини был снят со своего поста и направлен в Смоленск (там он сменил генерала Армана Огюстена Луи Коленкура герцога Виченцского), где тоже пробыл не долго; 4 октября его место в управлении г. Вильно занял барон Рох Годар. Причины перевода Жомини до сих пор остаются спорными: по одной версии – из-за разногласий с начальником Хогендорпом, по другой – за плохую работу (о чем неоднократно писал Наполеон). Можно предположить, что эти причины связаны между собой. Для честолюбивого швейцарца этот конфликт закончился даже временным домашним арестом. Вместе с тем необходимо указать и на наличие сведений о том, что именно Жомини впоследствии предложил Наполеону ряд решений, облегчивших отступление остатков Великой армии из Росиии. В частности, благодаря собранным им сведениям о местности переправа отступавшей французской армии через реку Березину прошла относительно удачно.
Также по поводу его будущих конфликтов с сослуживцами следует вспомнить, что в кампанию 1813 г. Жомини, являясь начальником штаба при Нее, внес большой вклад в победу при Бауцене, но не был произведен в дивизионные генералы из-за недоброжелательства Бертье. Оскорбленный этим, Жомини в день истечения перемирия перешел в стан антифранцузской коалиции. Принятый на службу императором Александром I с чином генерал-лейтенанта и званием генерал-адъютанта Жомини стал в осеннем походе 1813 г. советником, при этом далеко не бесполезным. Как результат – 8 октября 1813 г. был награжден орденом Св. Анны 1-й степени (впоследствии получил еще несколько орденов и наград). Также при императоре Николае Жомини участвовал в разработке военных проектов и, в частности, проекта об учреждении высшего военно-учебного заведения для получения образования офицерами Генерального штаба (позже – Николаевская Академия Генерального штаба). Интересно, что в военной галерее Зимнего дворца имеется портрет Жомини, хотя, как было указано, сам он был во время кампании 1812 года на противоположной стороне – на службе в армии императора Наполеона.