Историк, занимающийся изучением истории Букингемского дворца, предполагает, что он был возведен на границах владений старинного замка Ай, приобретенного Вестминстерским аббатством вскоре после завоевания Британии норманнами. Владения замка Ай состояли из трех подвластных владений: Айбери, Гайд и Найт. Главная усадьба находилась в Айбери, и ее владения простирались до берегов реки Тайберн, которая вилась через луга и болота и впадала в Темзу, служившую границей владений. Сегодня Тайберн — одна из подземных речек Лондона, но тот факт, что она протекает под Букингемским дворцом, дает нам довольно точные сведения о местоположении владений замка Ай.
Если верить утверждениям историка Оуэна Хедли, владения Айбери, Гайд и Найт были переданы королю Генриху VIII в 1536 году. В 1623 году король Иаков I передал Лайонелу Кранфилду, первому графу Мидлсексу, поместье Айбери в свободное ленное владение, оставив за собой все же два гектара, которые впоследствии стали центром тех двадцати гектаров, на которых сейчас располагаются дворец и парк Король проявлял интерес к этому клочку земли с тех самых пор, как в первые годы своего правления произвел некий опыт (к сожалению, неудачный, но оригинальный): попытался сделать то, что удалось сделать французам, — выращивать шелковичных червей. В 1609 году он действительно приказал засадить два гектара тутовыми деревьями и окружил их стеной. Но его надежды не оправдались, и с 1623 года в Саду тутовых деревьев перестали выращивать шелковичных червей, однако Корона, по счастливому случаю, осталась владелицей этих садов.
С южной стороны к этим садам примыкал луг в двадцать аров (ар — мера длины, причем именно ар, а не акр. — Ю.Р.) под названием «Курочки», который вместе с владением Айбери перешел в ленное владение графа Мидлсекса. В том же году сэр Уильям Блейк, лондонский адвокат, обнес луг оградой, чтобы выстроить на нем дом. В 1633 году лорд Горинг приобрел все владение; вскоре ему предстояло стать графом Норвиком, одним из военачальников короля Карла I в период гражданской войны. Лорд Георг Горинг существенно увеличил возведенный дом, пристроил к нему южное крыло и превратил в небольшой замок с островерхой крышей, очарование коему придали «сады для увеселений». Известный под названием Горинг-Хаус, сей замок стал «предком» Букингемского дворца. В 1677 году его владельцем стал граф Арлингтон. Надо сказать, что граф Арлингтон уже с 1672 года проявлял заботу о том, чтобы получить от Короны право на аренду Сада тутовых деревьев. После пожара он вновь отстроил замок, возвышавшийся напротив Сент-Джеймс-парка; теперь он именовался Арлингтон-Хаус, и это была превосходная резиденция, имевшая два крыла и купол.