Впрочем, тогда монарх еще не имел единственной главной резиденции. После пожара, уничтожившего в 1512 году жилую часть Вестминстерского дворца, он со своей свитой часто переезжал с места на место, а во время пребывания в Лондоне жил на противоположном берегу реки в Ламберте. Ситуация изменилась после того, как Уолси лишился должности главного королевского советника, поскольку не смог способствовать аннуляции брака короля с Екатериной Арагонской. После этого его имущество перешло в казну. Генрих VIII считал, что Йорк-хаус — прекрасная база для строительства достойной короля резиденции, и в 1529 году заказал проект перестройки дворца.
Дворец, получивший название Уайтхолл, должен был состоять из двух частей, которые разделяла улица Кинг-стрит, перекрытая двумя воротами. В расположенном у реки и значительно увеличившем свою площадь здании Йорк-хауса находились жилые покои с личными апартаментами короля и королевы, галереями, часовней и залами для приемов, а также с помещениями для канцелярии и различных королевских чиновников. Расположенная напротив вторая часть должна была служить королевским увеселениям. Для этого там соорудили теннисные корты, площадку для рыцарских турниров и даже специальное здание, предназначенное для петушиных боев.
Производит впечатление быстрота перестройки — основные работы были закончены в течение двух лет. Дальнейшая переделка продолжалась до самой смерти Генриха VIII в 1547 году. Несомненно, что именно в годы его правления Уайтхолл стал главной резиденцией английских монархов и оставался ею в течение последующих 130 лет. При Эдуарде VI и Марии I Тюдор в план дворца были внесены незначительные изменения, и только Елизавета вновь задумалась о его дальнейшей перестройке. При ней было решено возвести новое крыло в западной части дворца и соорудить временные конструкции из дерева, служившие для торжественных приемов, таких как, например, официальные аудиенции для иностранных дипломатов.
Самые значительные изменения произошли в годы правления первого короля из рода Стюартов — Якова I. Так как на момент вступления на престол у него уже была семья, нужно было обустроить апартаменты для его жены и детей. Это оказалось довольно сложно, поскольку такой необходимости не возникало в Уайтхолле на протяжении 50 лет — королевские дети жили там во времена Генриха VIII, а последним проживавшим там супругом монарха был муж Марии Филипп II. Однако еще более важное значение для облика дворца имело решение Якова I построить отдельное здание, которое подобно деревянным постройкам времен Елизаветы должно было стать местом проведения любых придворных торжеств, вследствие чего получило соответствующее название — Банкетный зал.