Но родители не помирились и в этот раз, до Гюго-отца дошли слухи о де Лагори, и менее чем через год он получил удобный повод отослать неверную жену с Эженом и Виктором во Францию, обязавшись регулярно переводить ей часть своего жалованья.
Можно сказать, что детство, в целом счастливое — мальчик не знал нужды, рядом с ним были заботливая мать и братья — было омрачено сложными отношениями между родителями и фактическим распадом семьи. Так со светлыми лучами радости неизбежно соседствовали тёмные тени раздоров, как в названии одного из его сборников («Лучи и тени»).
В Париже Софи Гюго продолжила жить в квартире при монастыре на улице Фельянтинок. Это место на левом берегу Сены было для детей настоящим райским садом. В годы революции монастырь закрыли, и в нём стали селить жильцов. Дети могли играть в густом монастырском саду, о котором поэт не раз вспоминал в своих стихах. Неподалёку возвышался гигантский купол церкви Валь-де-Грас. В беседке, запрятанной в глубине сада, жил некий господин де Курлянде. Под этим именем скрывался от полиции де Лагори, впутанный в заговор против Наполеона. Беглец мило общался с братьями Гюго, подарил им книгу сказок «Тысяча и одна ночь». Они считали его почти членом семьи, правда, не очень понимая, что связывает его с их мамой. В 1810 году, при смене министра полиции, де Лагори, потеряв осторожность, лично явился к новому главе ведомства — Савари, уверяя его в своей непричастности к противозаконной деятельности. Старый сослуживец обещал замолвить за него словечко перед императором, но в итоге на следующий день за де Лагори пришли. Более дети его никогда не видели. Через два года де Лагори неожиданно вышел из тюрьмы — его освободил странный генерал Мале, который распустил слухи о гибели Наполеона в России и попытался захватить власть. Де Лагори занял пост министра полиции — но только на полдня: заговорщиков схватили и расстреляли. Так окончилась жизнь крёстного отца Виктора Гюго, которого некоторые считали настоящим отцом писателя ввиду близких отношений с Софи Гюго.
Читать Виктор выучился самостоятельно, наблюдая за обучением старших братьев. Первая школа, которую он посещал, находилась на соседней улице. Преподавал в ней бывший аббат Ларивьер. Главным предметом являлась латынь. Знание этого мёртвого языка полагалось тогда обязательным для всякого образованного человека. Виктор учил латинский язык-на протяжении всей своей школьной жизни, то есть до шестнадцати лет. Переводы с языка древних римлян были его основными начальными упражнениями в поэзии.