Елизавета не уставала дарить Разумовскому подарки. Вскоре после своего восшествия на престол она подарила ему дворец в Петербурге, в котором жила еще царевной (около Миллионной), и открытое место под названием Царицын луг, которое, в свою очередь, переменило название на Марсово поле. В начале 1744 года, когда весь двор находился в Москве, она подарила Разумовскому множество загородных домов в окрестностях — Перово, Тетерки, Тимошево и другие. И именно к этому времени относится первое упоминание о новой работе Растрелли после поездки на юг — дворец в Санкт-Петербурге, который предназначался Разумовскому. Поскольку деревянный Летний дворец был окончен еще к концу 1744 года, Растрелли по возвращении в столицу мог посвятить этому новому проекту все свое внимание.
Есть некоторые сомнения, был ли новый дворец сразу после возведения подарен Разумовскому, или же в нем несколько лет проживала Елизавета. Похоже, что «дом, построенный на Фонтанке, около Аничкова моста» был только в 1756 году передан Разумовскому «в наследственное владение, со всеми построенными из камня и дерева пристройками, со всей мебелью и другими предметами, которые в нем находятся, и с окружающей его землей». Утверждают, что на протяжении нескольких лет это была любимая резиденция Елизаветы в городе. Похоже, дворец не был целиком собственностью Разумовского, поскольку здание в разное время снимали для проведения вечеров видные люди города — к примеру, в конце 1755 года австрийский дипломат Эстергази устроил праздник, на котором присутствовала императрица. Но была или нет Елизавета настоящей владелицей Аничкова дворца, он связан с именем Разумовского.
Дворец начинал возводить не Растрелли. Русский архитектор Земцов (который, напомним, был учеником первого архитектора Петра, Доменико Трезини, а позднее работал помощником Мичетти в Ревеле) в течение многих лет строил монастырь Александра Невского. Его работа над монастырем подошла к концу во время правления Анны Иоанновны, и между 1732-м и 1743 годами он трудился над украшенной куполом церковью Святых Симеона и Анны на Моховой улице на дальней стороне Фонтанки. В 1742 году он начал работу над другой церковью в том же квартале — Спасо-Преображенским собором, а в 1743 году его наняли готовить планы нового дворца на Невском проспекте позади Аничкова моста. Это было первое крупное нерелигиозное сооружение, которое ему довелось строить, если не считать павильона в Петропавловской крепости, где предполагалось установить ботик Петра Великого, найденный в 1691 году (этот ботик назвали «прадедушкой русского флота»). Земцов взял ученика по имени Григорий Дмитриев в качестве помощника, и они немедленно приступили к работе. Но Земцов не успел начать строительство ни собора, ни дворца — в возрасте пятидесяти пяти лет он скончался.