Прошло время… Екатерина, испугавшись революционных веяний после событий во Франции, отправила скульптуру в ссылку – подальше от глаз, она даже запретила подданным смотреть на «Вольтера». Любимый внук Екатерины – Александр I – вернул статую в Зимний дворец и вновь открыл библиотеку «Вольтеру», которую купила его великая бабушка. Николай I после известных событий на Сенатской площади с негодованием распорядился: «Уберите эту старую хихикающую обезьяну!» Александр II вновь вернул статую в свет, а с Александром III и вовсе произошёл страшный случай. Говорят, император страдал бессонницей: однажды ночью он прогуливался по дворцу и в зале, где находился «Вольтер», упал в обморок. Императора привели в чувство, и его первыми словами были: «Он, “Вольтер”, встал…» Статую спрятали.
Бедного «Вольтера» то уносили, то возвращали, то вновь закрывали, прятали, убирали прочь с глаз. Васильчиков принял резкое решение – «Вольтера» вернули на почётное место. Васильчиков дал понять – он будет поступать так, как считает нужным: «Советы – прекрасны, к ним нужно, конечно, внимательно прислушиваться. Но принимать решения должен один человек, директор Эрмитажа». Я считаю – он прав. «Пользуйтесь, но не злоупотребляйте. Я не разделяю ваших убеждений, но я отдам жизнь за то, чтобы вы могли их высказывать», – говорят, это высказывание, приписанное Вольтеру, особенно нравилось Васильчикову.
Васильчиковы – древний княжеский род, очень знаменитый: к нему принадлежала одна из невенчанных жён Ивана Грозного – Анна – и один из фаворитов Екатерины Великой, Александр. Его брат, Василий Семёнович, был женат на дочери гетмана Кирилла Разумовского. У них было четверо сыновей, наиболее известный – Алексей Васильевич Васильчиков, действительный тайный советник, сенатор, «человек самый обыкновенный, но добрый и честный, и предприимчивый». Ему удалось «пробить» в Цензурном комитете разрешение на издание первого в России «Педагогического журнала». Он вышел в отставку в 1833 году и увёз троих детей в Киевскую губернию – «уберечь от развращённого влияния большого света». В 1841 году Васильчиковы уехали в Европу, а по возвращении обосновались в Москве. Об Алексее Васильевиче вспоминают с уважением, но равнодушно: «Князь необщителен, холоден в обхождении, придерживается идей славянофилов и живёт на старинный манер, с детьми – строг».
Каждую среду в доме Васильчиковых устраивались великолепные вечера, на которые съезжался весь цвет московского общества и где «с большим изяществом убирал буфет дворецкий итальянец Пилети, приехавший из Парижа». Сохранился портрет князя кисти Василия Андреевича Тропинина: «…красивый человек, уверенная осанка, надменное выражение лица, холодный взгляд, руки – изящные, тонкие, длинные пальцы». Его жена – умная, властная Александра Ивановна Архарова, дочь московского военного губернатора Ивана Петровича Архарова. О ней вспоминают: «Женщина высокой добродетели, постоянно озабоченная воспитанием своих семерых детей – самые лучшие педагоги, самые лучшие книги, знакомства, путешествия». Одно время воспитателем в доме служил молодой Николай Гоголь. Александр Алексеевич Васильчиков, по его словам, «рос в атмосфере любви, заботы и поощрения умным увлечениям». Он поступил в университет, блестяще окончил историко-филологический факультет, работал в Министерстве иностранных дел при Российской миссии в Риме, потом – в Русском посольстве в Германии, в Карлсруэ.