С 1928 года, когда началась «культурная революция» и поход воинствующего атеизма на прежние ценности, обстановка в Сергиевском музее резко ухудшилась, причем на первых порах пострадали не столько экспозиции, разработанные Ю. А. Олсуфьевым и другими работниками музея, сколько их авторы. Дворянское происхождение и родственные связи Олсуфьевых стали настолько одиозными, что под угрозой ареста Юрий Александрович однажды не возвращается из Москвы в Сергиев, а спустя некоторое время устраивается по предложению И. Э. Грабаря в московские Центральные государственные реставрационные мастерские. Распрощавшись с капитальным домом на Валовой улице в Сергиевом Посаде, Олсуфьевы переезжают сначала в Котельники под Москвой, затем в деревянный половинный домик в деревне Мешаловка, примерно в пяти километрах от железнодорожной станции Люберцы, и, наконец, в Косино. При тогдашних совсем не совершенных способах сообщения с Москвой Ю. А. Олсуфьеву приходилось добираться до места службы пешком и пригородными поездами, но мещанская среда подмосковных рабочих поселков была надежным укрытием для семьи, уже напуганной первыми арестами, ссылками и расстрелами. На уцелевших любительских фотографиях тридцатых годов мы видим Ю. А. Олсуфьева за починкой дымовой трубы и вскапыванием огорода, и он мало чем отличается по внешнему своему виду от обитателей пригорода. Вряд ли кому приходило в голову, что в тесных комнатках мешаловского домика, за всегда задернутыми занавесками, живут сын бывшего коменданта Московского Кремля и фрейлина последней императрицы России.
В Центральных государственных реставрационных мастерских Ю. А. Олсуфьев занял должность эксперта по древнерусской живописи. Некоторая неопределенность основной направленности работы давала повод привлекать его к решению любых научно-реставрационных и производственно-бытовых задач. Покойный знаток архитектурной истории Москвы В. С. Попов, сотрудничавший в тех же мастерских и почти ежедневно встречавшийся с Ю. А. Олсуфьевым, вспоминал, что тот был постоянно занят разнообразной текущей работой: заполнял карточки по учету памятников монументальной и станковой живописи «для ведшегося им обширного каталога», определял накопившиеся за предыдущие годы негативы, вел журналы расчистки икон, вызывался на советы по реставрации шитья, писал научные отчеты о командировках в старые русские города. По рассказам реставратора Н. Я. Епанечникова, часто сопровождавшего Ю. А. и С. В. Олсуфьевых в таких поездках, их жизнь в экспедиционных условиях «поражала своей скромностью и нетребовательностью в пище, ограничивавшейся часто вареной мелкой рыбешкой и картофелем, порою даже без растительного масла».