Между офицером-республиканцем и юной (хотя и на полтора года старше его) роялисткой завязался роман, в котором инициатива принадлежала Гюго. В 1797 году в Париже (куда перевели жениха) они поженились без венчания, гражданской церемонией.
В вышеупомянутом стихотворении Виктор Гюго писал:
Мой отец — старый солдат, моя мать — вандейка!
Родители поэта представляли собой противоположные типы. Отец поддерживал революцию, мать революцией была напугана — Софи довелось стать свидетельницей её жестокостей. Вандейское восстание подавлялось безо всякой пощады, и до сих пор — 220 лет спустя — регион является бастионом консервативных настроений, порождённых революционным террором. Родители происходили из отдалённых друг от друга провинций, и хотя родным языком обоих был французский, их предки говорили на иных наречиях. Тема контрастов — ведущая в творчестве Гюго, и противоречия были заложены в нём с момента зачатия — ввиду характеров и происхождения родителей.
Отец — вспыльчивый добряк, добросовестно тянувший лямку службы, легкомысленный и влюбчивый. Мать — строгая и замкнутая, вышедшая замуж скорее по расчёту. По убеждениям она являлась вольтерьянкой, не ходила в церковь, хотя и была всей душой за старый режим — ещё одно противоречие, хотя и весьма распространённое в то время. Увлечение идеями Вольтера вовсе не обязательно должно было вести к республиканизму.
Разлад между родителями начался очень скоро: их расхождению способствовали не только несходство характеров и отсутствие взаимной привязанности, но и частые разлуки, вызванные постоянными перемещениями Леопольда, перебрасываемого из гарнизона в гарнизон. Трое родившихся один за другим сыновей — Абель (1798—1855), Эжен (1800—1837) и Виктор — не сблизили их. Любопытно заметить, что все трое детей выжили — редкий случай по тем временам. Но была ещё одна причина отстранения Софи от мужа: она влюбилась в крёстного Виктора — генерала Виктора Клода Александра Фанноде Лагори (1766—1812) (ребёнка назвали в его честь), и между ними начался длительный роман.
Леопольд тоже не терял времени даром и завёл любовницу, некую Катрин Тома. После падения Директории, при которой царили особенно распущенные нравы (были отменены церковные браки), стала ужесточаться мораль — предвестие Империи, но французское жизнелюбие не исчезало никогда, и шлейф постреволюционного эротизма тянулся ещё долго. Правда, армейский политес требовал камуфляжа недозволенных отношений, и Гюго-отец пока что скрывал любовницу от посторонних.
Тем временем Леопольд Гюго был переведён в Марсель, куда уехал с тремя детьми, включая новорождённого Виктора, для которого он нанял кормилицу. Софи осталась в нормандском замке, рядом с де Лагори. Так состоялась первая встреча с морем великого, в будущем, его певца. Гюго посвятил водной стихии бесчисленное множество стихотворений и один из своих романов. Затем вслед за отцом Виктор переплыл на Корсику, а оттуда на другой средиземноморский остров — Эльбу, связанную после с Наполеоном. Стоит отметить, что мир Средиземноморья, в том числе французского, в творчестве Гюго почти не отразился — его не тянуло ни на Лазурный Берег, ни в Прованс, ни в Лангедок — взрослым человеком он побывал на юге Франции лишь однажды.