Примерно в 1746 году в одном из уголков сада (с аккуратно постриженными аллеями вместо беспорядочно разросшихся зарослей посаженных в петровские времена елей), на берегу канала, только что проложенного садовником Елизаветы Ламбертусом, началось возведение Эрмитажа. Растрелли, по всей вероятности, несколько позже передал эту работу Квасову и Чевакинскому.
Этот самый «растреллиевский» из всех царскосельских павильонов стоит в центре симметричного «французского парка» в юго-восточной части Екатерининского парка. Поначалу павильон окружал канал, берега которого были выложены черным и белым мрамором, но позднее канал засыпали. Красивый железный купол раньше был позолочен. Вдоль основания павильона идут барельефы, изображающие играющих дельфинов; поначалу они были целиком из литья, а нанесенный временем ущерб подправили гипсом. Барельефы выполнил Дункер. Все четыре угла украшают статуи; на здании — массивные кариатиды и прочие украшения из резного дерева.
Центральный салон на верхнем этаже представляет собой банкетный зал. От четырех углов зала четыре галереи ведут в обширные апартаменты. Роскошные украшения позолочены, а потолок расписан отцом и сыном Валериани, отцом и сыном Градизи и Пересинотти. Нижний этаж состоит из кухни и помещений для прислуги.
Наиболее интересной особенностью Эрмитажа является механизм, при помощи которого блюда для пяти обеденных столов (в центральном зале и четырех примыкающих комнатах) могут быть убраны сквозь пол на расположенную внизу кухню, так что тридцать пять человек могут обходиться без присутствия прислуги, то есть без посторонних глаз. Столы снабжены устройством для опускания отдельных тарелок и блюд. Сидящему за столом достаточно лишь написать свою просьбу, и, когда тарелка опустится, внизу бросятся выполнять заказ, с тем чтобы через некоторое время требуемое блюдо появилось на пустующем месте. Когда посетители Эрмитажа желали потанцевать после обеда, все столы опускались, на их месте появлялась секция паркета, и зал для банкетов превращался в бальный зал.
7 сентября 1754 года (строительство Эрмитажа было завершено примерно в 1752 году) для осмотра Царского Села были приглашены иностранные послы. «И после того, как дипломатические посланники и другие высокопоставленные лица увидели дворец, парк и зоологический сад, — свидетельствует доклад придворного квартирмейстера, — они поехали на трех дрожках [это что-то вроде наших старых узких омнибусов, где пассажиры сидели спиной друг к другу, поставив ноги на подножки. — К.М.] в Эрмитаж. В два часа они сели обедать; блюда на всех столах менялись, после чего был подан десерт, так что всего было в избытке; назначенные для этого придворные слуги выполняли свои обязанности с крайними вниманием и пунктуальностью, без малейших задержек или нерегулярности. Перед обедом иностранные посланники с особым интересом осмотрели механизмы столовой комнаты, после чего столы были быстро снова опущены, а пол встал на место, к изумлению гостей».