Мария Павловна вспоминала: «Наш дом уже начал принимать вид запустения и заброшенности <…>. Прислуга, которой нечем было заняться, бесцельно слонялась по большим пустым комнатам, ожидая, когда в ней вообще отпадет нужда. Некоторые из старых слуг уже покинули дом, постепенно пустели конюшни»>22.
Въезд в Россию Павлу Александровичу был дозволен в 1905 году только на похороны родного брата Сергея Александровича, убитого в Москве. Через три года простили и Ольгу Валериановну, получившую титул графини Гоген-фельзен. Она вернулась с мужем в Петербург, вскоре вошла в придворные круги и даже приобрела симпатию императрицы.
Но в 1914 года дворец на набережной снова опустел, ибо семья переселилась в новопостроенный царскосельский особняк. В следующем году брак супругов был узаконен, Ольга Валериановна и ее дети получили титул князей Палей по фамилии казачьего предка>23.
После начала Первой мировой войны Павел Александрович отбыл на фронт, где командовал Гвардейским корпусом, но заметными успехами не отличился, отчасти из-за своего болезненного состояния. Несмотря на любовь к своему царственному племяннику, великий князь принял участие в семейной фронде против него и лично уговаривал Николая II даровать стране Конституцию.
18 февраля 1917 года он продал дворец Русскому обществу заготовления снарядов и боевых припасов и вывез из него самое ценное имущество в Царское Село. Там больного Павла Александровича 12 августа 1918 года арестовали большевики, 30 января следующего года его расстреляли вместе с тремя кузенами у стен Петропавловской крепости. Ольга Валериановна после этого бежала в Финляндию, где воссоединилась с двумя дочерьми, а затем перебралась в Париж.
Новая власть национализировала дворец и передала детскому дому, что отрицательно сказалось на интерьерах. Значительную часть убранства, включая живопись, распродали. С 1930-х до конца 1980-х гг. здание принадлежало «закрытому» проектному институту «Союзпроектверфь», который работал на Военно-морской флот. В это время были уничтожены все интерьеры, кроме парадной лестницы, кабинета, библиотеки и Голубого зала. В 1938–1939 годах этажом надстроили правый дворовый флигель, а в 1946–1947 годах возвели дополнительный этаж над бывшим Мавританским залом.
В корпусе на Галерной в 1938–1963 годах действовала средняя школа, затем перемещенная на Адмиралтейский канал. Когда она выехала, ее интерьеры также постигла печальная участь.
В 1988 году в здании началась реставрация, однако вскоре работы остановились по финансовым причинам. Пустующие помещения в 1999 году взяла в аренду крупная нефтяная компания «Лукойл», но вскоре она передумала переезжать в Петербург. Через десять лет возник план приспособить заброшенный дворец под еще один городской Дворец бракосочетания, но препятствием вновь стали финансовые затраты. Судьба здания пока остается неясной.