С юга эта часть земли граничила с Кузнецкой улицей (нынешним Кузнецким мостом), а с севера — с нынешним Сандуновским переулком. Территория принадлежала А.П. Волынскому — государственному деятелю, который выступал против бироновщины и был казнен. При вступлении на престол Елизаветы Петровны владения возвратили его семье. В 1742 году владельцем стал сын Волынского, Петр, а в 1759 году — зять Петра Артемьевича, граф И.И. Воронцов.
В 1759 году на месте теперешнего главного здания уже высились каменные палаты; вместо обветшалых трех «людских покоев» возводятся новые. Спуск с холма занял сад с художественно оформленными прудами. Болотистую низину берегов осушили. В 1793 году часть владения переходит к Ирине Ивановне Бекетовой. В первое десятилетие XIX века части владения Воронцова, выходившие на Кузнецкий мост (№№ 9, 11), продали, а центральную часть, принадлежавшую И.И. Бекетовой, и угловую часть, выходившую на Кузнецкий мост (№ 13), по купчей от 21 сентября 1809 года приобрели для размещения Московского отделения Императорской Медико-хирургической академии.
Одновременно для академии купили северный угловой участок, тоже выходящий на Рождественку, — у Б.В. Пестеля. Огромный сад Воронцова приспособили под ботанический сад с участками для разведения лекарственных растений. В главном здании разместились аудитории, кабинеты, библиотека, в пристройках — больница, общежития для студентов и квартиры преподавателей и обслуживающего персонала. По постановлению от 19 июня 1845 года Московская медицинская академия слилась с медицинским факультетом Московского университета.
После капитального ремонта 28 сентября 1846 года в бывшем здании Медико-хирургической академии торжественно открыли факультетские клиники Московского университета. В конце 1880-х годов медицинские клиники университета начали переводить в новые, специально построенные для них здания на Девичьем поле. Территория и здания старых клиник поступили в ведение Министерства финансов, а оно передало их художественно-промышленному училищу, основанному графом С.Г. Строгоновым.
На части территории, выходящей на Неглинную улицу, было построено здание Государственного банка, а участок владения, лежавший на углу Кузнецкого моста и Рождественки, продали С.М. и П.М. Третьяковым. Здания, перешедшие училищу, подверглись реконструкции по проекту академика архитектуры преподавателя «Строгоновки» С.У Соловьева. Были возведены трехэтажные флигеля на месте снесенных старинных построек, в 1903 году надстроили верхние этажи, а главное здание с улицы украсили керамическим панно. Туда же на Рождественку переехал и музей, ранее открытый лишь на четверть и хранившийся в ящиках в доходном доме «Строгоновки» на Мясницкой улице.