Гостями В. А. Морозовой бывали А. П. Чехов, В. Я. Брюсов, К. С. Станиславский, В. И. Немирович-Данченко, В. Г. Короленко, Г. И. Успенский. В 1905 году Морозова предоставила свой особняк лекторской группе МК РСДРП. Среди выступавших с докладами были историк М. Н. Покровский, И. И. Скворцов-Степанов, историк, публицист и экономист, работавший учителем в Городском училище на Арбате.
В советские годы особняк Морозовых последовательно занимали Институт социальной гигиены, Международный аграрный институт во главе с известным болгарским коммунистом Василием Коларовым, Комиссия партийного контроля при ЦК КПСС. С 1959 года в нем располагался Союз обществ дружбы и культурных связей с зарубежными странами.
Соседний особняк, известный в Москве под названием «Мавританского замка», был построен по заказу А. А. Морозова на подаренной ему матерью земле. Архитектурный облик дома, привлекающий туристов сегодня, вызвал искреннее негодование В. А. Морозовой. По словам современников, она бросила в гневе сыну: «То, что ты дурак, все знали в семье, а теперь узнала вся Москва». Не менее возмущенно откликнулся на появление этого здания и Л. Н. Толстой в XII главе второй части романа «Воскресение»: «глупый, ненужный дворец какому-то глупому и ненужному человеку».
Возможно, именно поэтому Морозов-младший доверил свой замысел — «фантазию на мавританский стиль» с использованием мотивов португальского замка Синтра — неизвестному архитектору. В. А. Мазырин специализировался на строительстве тюрем и имел в этом отношении даже собственную теорию, которой делился с Константином Коровиным и Федором Шаляпиным. Отсюда, кстати сказать, такое резкое отличие пышнейшего парадного подъезда, витых колонн портала, фланкирующих его круглые башни со стенами, покрытыми высеченными в камне раковинами, короны кружевных парапетов с предельно строгим дворовым фасадом, где совершенно гладкую плоскость стен прорезают только большие окна.
В воспоминаниях К. А. Коровина есть эпизод спора В. А. Мазырина, которого приятели шутливо звали «Анчуткой», с А. М. Горьким:
«— Позвольте, господа, — сказал Мазырин. — Никогда не надо начинать с театра, храма, домов, а первое, что надо строить, — это остроги.
Горький, побледнев, вскочил из-за стола и закричал:
— Что он говорит? Ты слышишь, Федор? Кто это такой?
— Я кто такой? Я — архитектор, — сказал спокойно Мазырин. — Я знаю, я строю, и каждый подрядчик, каждый рабочий хочет вас надуть, поставить вам плохие материалы, кирпич ставить на песке, цемент уворовать, бетон, железо. Не будь острога, они бы вам показали. Вот я и говорю — город с острога надо начинать строить.