Детство Гюго проходило то с отцом, то с матерью, то, с 1811 по-1814 год, в пансионе, куда его определили по настоянию отца, дабы придать систематический характер его обучению и ослабить материнское влияние. Кочевая жизнь началась сразу с рождения. В конце 1802 года майор Гюго получает новое назначение, отсылает жену в Париж, а сам вместе с детьми следует в Марсель, а затем на остров Эльбу. В феврале 1804 года г-жа Гюго забирает детей. Замешанный в этом же году в заговор Кадудаля и Пишегрю, Лагори переходит на нелегальное положение и скрывается от полиции у своей подруги г-жи Гюго вплоть до декабря 1807 года, когда покидает Париж. После его бегства г-жа Гюго, оставив старших сыновей пансионерами в парижском Коллеж руаяль, отправляется вместе с Виктором в Италию, где ее муж, ставший в 1803 году полковником, был назначен комендантом города Авеллино, близ Неаполя, в Неаполитанском королевстве, только что созданном Наполеоном для своего брата Жозефа. Супруги живут по-прежнему раздельно (Леопольд в Авеллино, Софи в Неаполе), а Виктор, воспользовавшись неожиданными каникулами, проводит время в необременительных домашних занятиях и прогулках на лоне дивной итальянской природы вместе с отцом или дядей капитаном Луи Гюго. В июле 1808 года полковник Гюго следует за Жозефом Бонапартом, посаженным на испанский трон, в Испанию, но уже в конце этого года г-жа Гюго вместе с Виктором возвращается в Париж. Около двух лет они живут на улице Фельянтинок, во флигеле упраздненного во время революции монастыря фельянтинок; это жилище привлекло г-жу Гюго своим садом и уединенностью, позволявшей прятать Лагори, вернувшегося в Париж. Виктору было здесь хорошо: игры с братьями и с девочкой, дочерью друзей семьи Аделыо Фуше (будущей женой) чередовались с занятиями с бывшим аббатом Ларивьером и таинственным "крестным" Лагори.
В декабре 1810 года Лагори был арестован, и г-же Гюго пришлось снова отправиться в Испанию к мужу, теперь" уже генералу. Путь на этот раз занял три месяца: приходилось делать длительные остановки, дороги были неспокойны, шла партизанская война. В Мадриде братьев Гюго помещают пансионерами в коллеж Сан Антонио Абад, и Виктору впервые приходится испытать на себе строгость школьного режима. От нового пребывания в Испании остались знание испанского языка (единственный иностранный язык, которым владел Гюго) и яркие впечатления, давшие пищу воображению будущего автора "Эрнани" и "Рюи Бласа".
Новая ссора родителей приводит к тому, что мать с Эженом и Виктором возвращается в марте 1812 года в Париж, в дом на улице Фельянтинок, и обучение детей опять поручается Ларивьеру, от которого Виктор приобретает основательные знания латинского языка и римской литературы. Вступление союзников во Францию, падение империи, реставрация совпадают с окончательным разрывом родителей Гюго, ускоренным казнью Лагори по приговору наполеоновского суда; пока длится бракоразводный процесс, детей передают отцу, и с 1815 по 1818 год они находятся в пансионе Кордье в парижском квартале Сен-Жермен-де-Пре (к матери они вернулись в 1818 году).