В 1811 году Софи с сыновьями вновь отправились в дальнюю дорогу — по приглашению Луи Гюго, желавшего примирения невестки с братом, поддержанного королём Жозефом. Теперь они ехали уже по западной, приморской части Франции, месяц провели в приграничном с Испанией городе Байонна, ожидая конвоя. По опустошаемой войной стране путешествовать иначе как в сопровождении трёх тысяч солдат было недопустимо. Далее путь лежал уже прямо в Мадрид. В памяти мальчика остались города Витория, Бургос, Вальядолид.
В испанской столице семья Гюго разместилась во дворце Массерано, проживая в роскошных условиях и наслаждаясь почётом, полагавшимся Леопольду Гюго, получившему к тому времени титул графа Сигуэнса. Король Жозеф выражал недовольство, что ставший уже генералом Леопольд, который занимал должность губернатора Гвадалахары, открыто живёт с любовницей — в эпоху Империи подобное считалось совершенно неуместным, требовалось соблюдать определённые правила приличия. Монарх потребовал от подчинённого примириться с женой и демонстрировать образцовую семейную жизнь. Для Леопольда приезд жены стал неприятным сюрпризом, он сделал попытку подать на развод, но в итоге ему пришлось временно подчиниться воле короля. Считая, что сыновья находятся под вредным влиянием матери, он определил старшего, Абеля, на службу пажом в королевский дворец, а младших отдал в дворянский колледж. Там Виктор овладел основами испанского языка, который начал изучать ещё перед поездкой. Это был единственный современный иностранный язык, который он худо-бедно знал и на котором порой вёл тайные записи в личных записных книжках.
Испания навсегда осталась в его сердце. Её истории посвящены циклы стихотворений в «Легенде веков», три пьесы, в том числе сделавшая имя Гюго знаменитым «Эрнани» (1830) и самая удачная — «Рюи Блаз» (1838). Взрослым человеком поэт посетит Испанию лишь однажды — в 1843 году, причём не далее её северного пограничного уголка, доехав до столицы Наварры — Памплоны, это путешествие он опишет в разделе «Альпы и Пиренеи» посмертно вышедшей книги «В пути» — своеобразных дневниковых заметок в виде писем. Однако детских впечатлений, дополненных чтением книг об Испании, писателю вполне хватит на всю жизнь. Интересно заметить, что его младшего современника, крупнейшего испанского поэта-романтика Хосе Соррилью-и-Мораля станут называть «испанским Гюго».
Для ребёнка своего времени Виктор многое почерпнул из путешествий с матерью и братьями. Не забудем, в начале XIX века подавляющее большинство детей взрослели, проживая там, где родились, — в деревне или в городе, да и потом, поездки по стране, не говоря уж о загранице, были уделом немногих.