Вторым изменением в жизни семьи стал переезд в Олторп. Отец унаследовал дом вместе с пятью тысячами гектаров земли и многочисленными хозяйственными постройками. Ранее дети не очень жаловали семейное гнездо, но тут неудобный и помпезный замок превратился в родовое поместье, которое они обязаны были почитать, уважать и любить. Сравнения с Парк-хаусом замок не выдерживал не по причине внешнего убранства, а потому, что он был холодным, «стариковским обиталищем, соответствующим эдвардианским вкусам нашего деда» — так вспоминал Олторп младший брат Дианы. Далее он писал: «Повсюду царил запах трамперовского масла для волос и раздавалось тиканье дедовских часов. Часы тикали негромко, словно звук впитывался в дубовый паркет и гобелены на стенах». Чарльз — мастер по части художественного слова, недаром он стал писать исторические романы и сумел прославиться на этой стезе. Но большая доля истины в его словах есть.
Третьим моментом, связанным со смертью деда и передачей титула, являлось изменение положения не только новоявленного графа Спенсера, но и его детей в обществе. Конечно, Джонни, как единственный наследник по мужской линии, и ранее выглядел достойно в глазах местной аристократии. За два года до смерти деда, на балу, посвященном совершеннолетию Сары, уже было понятно, что на «сцене» появилась значимая фигура. «Бал состоялся в старинном замке Касл-Райзинг в Норфолке, и гости подъезжали в старинных каретах к парадному входу, залитому светом пылающих факелов… Никто не сомневался, что Сара сделает самую блестящую партию».
Безусловно, старшую сестру старались пристроить первой. Сначала ей прочили в мужья Джеральда Гросвенора герцога Вестминстерского. Их отношения были бурными, но закончились к 1977 году — как раз к тому моменту, когда Сара познакомилась с принцем Чарльзом, который, по словам некоторых общих знакомых, никогда и не испытывал к старшей сестре Дианы особенных чувств, пытаясь лишь утешить ее после разрыва отношений с Джеральдом: ведь Сара после этого впала в депрессию и перестала есть, ее вес резко снизился.
Джеральд был завидным женихом. А уж если принять во внимание его последующий финансовый взлет, то даже весьма завидным. «Много лет Джеральд Гросвенор возглавлял список самых богатых людей Великобритании. Потомственный аристократ, к которому принято обращаться не иначе как „ваша светлость“, владеет огромными земельными угодьями в Соединенном Королевстве. Правда, в 2004 году он пропустил вперед российского олигарха Романа Абрамовича, а затем и индийского бизнесмена Лакшми Миттала. И тем не менее Гросвенор, шестой герцог Вестминстерский, виконт Белгравии и прочая, и прочая, остается одним из главных богачей Британии: его личное состояние оценивается в семь миллиардов фунтов стерлингов». Женился Джеральд в 1978 году, практически сразу после разрыва с Сарой, на весьма примечательной особе. Наталья Филлипс — прямой потомок Александра Сергеевича Пушкина и российского императора Николая I, а также английского короля Георга II.