Тогда же, вероятно, были созданы и скульптуры у ворот дома, походящие на львов.
В итоге здание приобрело облик городской усадьбы, характерный для эпохи классицизма. После смерти Разумовского в 1818 г. хозяйкой здесь стала его жена, Мария Григорьевна Разумовская, но она навсегда покинула дом на Тверской улице, переехав жить в Петербург. А усадьба перешла к ее сводному брату, Николаю Григорьевичу Вяземскому.
В первой половине XIX в. осуществлялись работы по перестройке здания, очевидно, по проекту Д.И. Жилярди. В конце XIX в. были снесены столь привычные нашему взору ворота и каменная ограда, а на их месте развернулась бойкая торговля.
Восстановили разрушенное уже при Советах; правда, само здание при выпрямлении улицы Горького задвинули поглубже, на место усадебного сада. При этом крылья дома обрубили.
Сад, конечно, жалко. По воспоминаниям гулявших в нем, он был замечательным: «Прекрасный сад с горками, мостиками, перекинутыми через канавки, в которых журчала вода, с беседками и даже маленьким водопадом, падающим между крупных, отполированных водой камней. Старые липы и клены осеняли неширокие аллеи, которые когда-то, наверное, посыпались желтым песком, а ныне были лишь тщательно подметены».
В настоящее время зданию возвращён близкий к первоначальному облик. Фасад усадьбы, сохранившей строго симметричную композицию со скругленным парадным двором, отличается монументальной строгостью, характерной для ампира. Выделяется восьмиколонный дорический портик на мощном арочном цоколе. Монолитная гладь стен подчеркивается крупными, пластичными, но тонко прорисованными деталями (декоративная лепнина, лаконичные наличники с масками и прочее). Вынесенные на красную линию улицы боковые флигеля решены в более камерном масштабе, двор замыкает чугунная ограда с каменными опорами и массивными пилонами ворот.
Внутри дома сохранились мраморные лестницы с коваными решётками, обрамления дверей в виде порталов, мраморные колонны, плафоны, украшенные живописью и лепниной.
С 1831 г. до Октябрьского переворота здесь собирались члены Московского Английского клуба, «названного так потому, что вряд ли хоть один англичанин принадлежал к нему», как выразился один из побывавших здесь аглицких гостей.
Чтобы войти в число первых членов Английского клуба, необходимо было соответствовать двум главным требованиям: иметь знатное происхождение и ежегодно вносить клубный взнос – достаточно большую по тем временам сумму. И еще: в клуб допускались только мужчины, даже прислуга была мужского пола.
Вообще-то клуб был учрежден еще в 1772 г., но в царствование Павла I его закрыли. Затем, в александровскую «оттепель» клуб вновь получил право на существование, вскоре превратившись в место сбора московской аристократии, куда съезжались, по выражению Н.М. Карамзина, «чтобы узнать общее мнение».