В 1858 году участок приобрели почетные граждане, представители богатого купеческого рода братья Г.П. и С.П. Елисеевы, основавшие годом раньше торговый дом «Братья Елисеевы». Потом здесь осталась жить семья С.П. Елисеева, занимавшая корпус на набережной реки Мойки. В 1859–1860 годах архитектор Н.П. Гребенка перестроил главное здание по Невскому проспекту. Он заменил нижние колонны в центре фасада массивными пилонами, изменил рисунок наличников, ввел круглые окна, перестроил Большой зал, а также расширил дворовые флигели, надстроил четвертым этажом дом на Мойке и выполнил «перештукатурку» его фасада в приемах ранней эклектики.
Парадные помещения дома на Невском с 1860-х и до 1910-х годов занимало Благородное собрание. В его состав входили «лица благородного звания и почетного купечества». Балы и маскарады, карточные игры чередовались с музыкальными и литературными вечерами. Здесь давало концерты Русское музыкальное общество, созданное А.Г. Рубинштейном, читал лекции композитор А.Н. Серов, выступали с чтением своих произведений Ф.М. Достоевский, И.С. Тургенев, М.Е. Салтыков-Щедрин, А.Н. Плещеев, Я.П. Полонский. В спектаклях участвовали актеры Александрийского театра. С января 1862 года проходили заседания Шахматного клуба, учрежденного меценатом графом Е.А. Кушелевым-Безбородко. Членами клуба были Н.Г. Чернышевский, Н.А. Некрасов, Д.И. Писарев, Н.А. Серно-Соловьевич, B.C. Курочкин, Н.Г. Помяловский, И.И. Панаев, П.Л. Лавров. По существу, это был литературный клуб, служивший средоточием вольной общественно-политической мысли. Летом того же года он был закрыт властями.
Фотография 2004 года
С 1879 года хозяином домов стал П.С. Елисеев – крупный банкир, занимавшийся благотворительной деятельностью. В зале Благородного собрания в 1890-х годах давала бесплатные спектакли оперная и драматическая труппа И.П. Зазулина (в 1895 году – с участием студента В.И. Шверубовича, будущего актера Качалова). С 1901 года домовладение перешло к С.П. Елисееву, продолжившему дело отца. Он также был коллекционером, собранные им произведения О. Родена поступили затем в Государственный Эрмитаж. В 1902–1904 годах особняк на Мойке был реконструирован архитектором А.К. Гаммерштедтом, создавшим отделку интерьеров в исторических стилях и в формах модерна (реставрированы в 1980-х годах). В нем сохранились витражи рижской мастерской Э. Тоде.
Часть дома на Невском в конце XIX – начале XX века занимали конторы разных банков и ряд магазинов, в том числе велосипедов фирмы «Дуке». В 1914 году здание приспосабливалось для Центрального банка обществ взаимного кредита, учрежденного в 1909 году.