Толстой подготовил специальную Записку, в которой высказал пожелание, чтобы характер Эрмитажа, освещённый историей, статус дворца-музея был сохранён. Записку приняли холодно: заметили, что Эрмитаж не хочет следовать общему позыву обновления России, желает коснеть в старых рамках и не собирается вступать на новый, широкий путь обновления. Луначарский назначил комиссаром Эрмитажа Николая Пунина – историка, который служил в Отделе гравюры Русского музея. «Республика полагается на вас», – сказал Луначарский Пунину. Толстой писал: «Аполлон, быстро примкнувший к большевикам и убеждавший в своих яростных выступлениях, что буржуазному искусству пришёл долгожданный конец, оно народу не нужно и нет нужды его беречь и сохранять. Пунин… был человек, безусловно, неуравновешенный, неврастеник, кидавшийся в крайности. Я его помню с иголочки одетым, гладко выбритым, с примазанной причёской, лиловым галстуком и шикарным стёклышком в одном глазу. При большевиках стал носить высокие сапоги, небрежно одеваться и стёклышко в глазу заменил неизящными большими очками. Лицо его постоянно подёргивалось нервным тиком. Нервно он и руководил: нашёл работу Эрмитажа несоответствующей новому времени, обвинил сотрудников в низкой работоспособности и заявил, что необходима срочная реорганизация».
В апреле 1918 года Зимний дворец был переименован во Дворец искусств. Пунин призывал: «Надо обратить мёртвые храмы искусства, где томятся мёртвые произведения, в живой завод человеческого духа… Искренне желаем, чтобы молодые художники возможно реже посещали Эрмитаж и возможно чаще оставались наедине с внутренним голосом своего творчества. Нужно отказаться от старого, чтобы строить новое светлое будущее».
Через год, в 1919-м, Пунин объявил о своей отставке: «Не могу тратить время на спасение и охрану старой рухляди, нужны силы для создания искусства нового общества. Искусство должно аккумулировать совокупность эстетических ощущений, которую вырабатывает социализм, его принципы выражены в специальном манифесте “Против цивилизаций”».
Графа Толстого новый мир и его новые принципы пугали. Ход событий отнимал надежду на лучшие времена: «Мученическая кончина всей царской семьи и убийство великого князя Георгия Михайловича меня настолько потрясли, что я не нашёл в себе более сил иметь дело с людьми, принявшими на себя ответственность за эти злодеяния».
Дмитрий Иванович Толстой с семьёй с тяжёлым сердцем навсегда покинул Россию: «В Ницце наше семейство проживает тихой спокойной жизнью. Мы мало кого видим и только изредка встречаемся с кем-то из прошлой жизни… Я могу считать себя исключительно счастливым человеком. А какой интерес может представлять жизненное поприще, пройдённое гладко, без ярких событий и особых потрясений? Кроме тяжёлых эпизодов кончины моих родителей, общего разорения и беженской судьбы, тяжело отозвавшихся на всех людях моего класса, ничего выдающегося в моей жизни отметить не приходится. В семейной жизни я был, можно сказать, исключительно счастлив до самой старости: 44 года, проведённые в полном духовном единении и согласии с женой-другом, служившей мне во всём поддержкой и нравственной помощью, близкие дружеские отношения с моими детьми и их семьями… Я, слава Господу, счастливый человек во всех смыслах…»