В отличие от Гюго семья его, к которой также присоединилась сестра г-жи Гюго, тяготится пребыванием на острове, но в течение трех лет полностью разделяет изгнание поэта, что дается ей нелегко, ибо гернсейское "общество" держит их на расстоянии. Старший сын Шарль Гюго занят фотографией и любовными интрижками, составляет биографический очерк "Люди изгнания"; младший Франсуа Виктор, уравновешенный и усидчивый, затевает точный прозаический перевод всего Шекспира, который будет выходить в свет с 1859 по 1866 год и принесет ему уважение знатоков. Склонная к меланхолии дочь Адель музицирует на фортепьяно, а в перерывах ведет подробный "Дневник изгнания", полный жалоб на тоскливое существование. Г-жа Гюго, на основе собственных воспоминаний и "романтизированных" свидетельств мужа, пишет, иногда под его прямую диктовку, известную книгу "Виктор Гюго по рассказам одного из свидетелей его жизни" (опубликована в 1863 году).
Ободренный успехом "Созерцаний", Гюго чувствует себя во власти поэтического вдохновения. По совету своего издателя Этцеля он принимается за активную работу над сборником "маленьких эпопей", небольших поэм на сюжеты мифологии, Священного писания, житийной литературы и всеобщей истории. Так появилась знаменитая "Легенда веков", первая серия которой вышла в свет в октябре 1859 года. Выход книги был значительным общественным и литературным событием. С одной стороны, книга заявляла соотечественникам Гюго о том, что их крупнейший национальный поэт находится в изгнании в знак протеста против существующего в стране режима, который вынужден тем не менее считаться с ним, не осмеливаясь даже чинить препятствия к изданию его книг на родине, несмотря на гордый отказ эмигранта вернуться во Францию по всеобщей амнистии 1859 года (18 августа он заявил в своей "Декларации" по поводу этого события: "Я вернусь, когда вернется свобода"). С другой стороны, "Легенда веков" свидетельствовала о том, что не только не потускнели, а во многом приобрели новую яркость краски поэтической палитры Гюго, но и творческие возможности романтизма, принципам которого писатель оставался верен до конца, еще далеко и далеко не исчерпаны. Во Франции сошли со сцены такие поэты-романтики, как Альфред де Мюссе и Жерар де Нерваль, в 1857 году громко заявили о себе предтеча символизма Шарль Бодлер со своими "Цветами-Зла", осужденными наполеоновской юстицией, предтеча натурализма Гюстав Флобер с "Г-жой Бовари", едва избегший осуждающего приговора, а гернсейский патриарх извлекал все новые и новые звуки из своей романтической лиры, приковывая к себе всеобщее внимание и вызывая удивление.