В 1934 году московские мастерские были упразднены по причинам, не имевшим с наукой ничего общего. Но поскольку ликвидировать реставрационную практику в целом значило бы поставить под удар сохранность всех музейных коллекций, Наркомпрос РСФСР распорядился сосредоточить часть бывших работников мастерских в Третьяковской галерее. Именно здесь – в должности заведующего секцией реставрации древнерусской живописи – Ю. А. Олсуфьев провел последние четыре года своей жизни. Как и прежде, он много времени уделял изучению иконописи и обследованию провинциальных коллекций на предмет выявления наиболее выдающихся произведений. Еще большей заботы требовали теперь памятники монументального искусства. Маршруты его поездок – Новгород, Псков, Старая Ладога, Ярославль и другие исторические города. С необыкновенной энергией он исследует причины заболевания отдельных фресковых циклов, технику их исполнения и технологические приемы их консервации и реставрации, руководит экспедиционными группами, пишет необходимые отчеты и рекомендации ведения дальнейших работ, готовит к публикации статьи по древнерусской фресковой и станковой живописи. Он становится наиболее авторитетным специалистом и по иконописи, и по стенописи, по технике их исполнения и реставрации. Его фундаментальная работа «Вопросы форм древнерусской живописи», печатавшаяся в 1935 году в журнале «Советский музей», до сих пор остается наиболее ценным исследованием формообразующих приемов древнерусского художника.
Юрий Александрович Олсуфьев разделил судьбу тысяч своих современников. Как стало известно совсем недавно, он был арестован 24 января 1938 года, а 7 марта «за распространение антисоветских слухов» (статья 58, пункт 10, часть 2 УК РСФСР) постановлением тройки при Управлении НКВД СССР по Московской области приговорен к расстрелу. Приговор приведен в исполнение 14 марта 1938 года. А четыре года спустя, 1 ноября 1941-го, арестовали и Софью Владимировну Олсуфьеву: когда в октябре 1941 года возникла реальная опасность захвата Москвы немцами, она оказалась в числе неблагонадежных, которыми в первую очередь считались бывшие аристократы. Как и ее мужу, ей предъявили аналогичное обвинение и приговорили к лагерям сроком на десять лет. Колонна заключенных, в которой вместе с С. В. Олсуфьевой оказался и художник В. М. Голицын, дошла до Казани. По данным следственного дела, Софья Владимировна скончалась в превращенном в концлагерь бывшем Свияжском монастыре 15 марта 1943 года. Аналогичный конец ожидал бы, скорее всего, и сына Олсуфьевых Михаила Юрьевича, но ему выпала другая карта. С разрешения родителей он еще в 1924 году тайно – через Владивосток и Китай – эмигрировал из СССР и осел в королевской Румынии, где Олсуфьевым, по линии бабушки Марии Николаевны, урожденной Россети-Розновано, принадлежали значительные земли, в частности благоустроенная усадьба Кишло в Бессарабии. Румыния надолго стала второй родиной младшего Олсуфьева, пока по семейным обстоятельствам он не эмигрировал вторично – теперь уже из Румынии Чаушеску – в Париж. Здесь он и скончался в 1984 году. По слухам, Михаил Юрьевич был вынужден бросить свой двухэтажный дом в Бухаресте, как и его родители дом в Буйцах, на произвол судьбы, с той только существенной разницей, что особняк в румынской столице уже не был настолько наполнен семейными реликвиями, как усадьба Красные Буйцы.