Васильев с возмущением говорил: «Вот что такое «Память». Я вам выкладываю, как бы, аспекты нашей деятельности, потому что рассказывать о том, что мы делаем или не делаем, — это будет нудно и скучно. Я хотел спросить хотя бы одного патриота, сколько камней заложил он в храм созидающегося сегодня Православия? — А мы восстанавливали десятки храмов, монастырей. Безвозмездно… Мы работали конкретно, вынося оттуда сор, чистя авгиевы конюшни и превращая их в светлые храмы. А что делали они? — Они шли по нашим следам и праздновали праздники в этих храмах, забывая вспомнить о том, кто расчистил им дорогу в этом «минном поле», кто дал возможность эти праздники справлять! Они об этом давно забыли. Разве это не презренные предатели?! — Презренные предатели! Иначе я их и не называю. Не сделав ни одного шага к спасению, они пользуются торжеством того, что сделали другие, расчистив им дорогу. Разве, это правильно? Разве это честно? Вся эта вшивая интеллигенция ходит и трепет мое имя в своих грязных устах…»
Тем не менее период восстановления церквей и храмов постепенно шел на спад. Тому причин было несколько. Во-первых, делами «Памяти» начали пользоваться с целью наживы, а во-вторых — после демонстрации на Манежной «Память» начала работу уже политическую.
— Мы думали, что восстановим одну церковь, другую, отработаем в монастыре, и это сплотит людей вокруг идеи, подвигнет их на более активную деятельность. В тот переломный момент эта работа действительно собирала многих людей, увеличивая надежду на скорое решение многих наших общих проблем. Но увы, наш альтруизм стал беззастенчиво эксплуатироваться ответственными чиновниками и некоторыми представителями церкви. Людей «Памяти» начали использовать в этом благородном начинании просто как бесплатную рабочую силу, устраивая на нашем труде выгодные реставрационно-восстановительные подряды. Средства по тем временам, надо заметить, выделялись на эти работы очень приличные. Мы стали понимать, что кто-то очень хорошо паразитирует на идее за наш счет, одновременно распуская о «Памяти» всевозможные грязные слухи. Но мы терпели и продолжали работать во славу Божию.
Между тем, — продолжает Дмитрий Васильев, — было уже очевидно, что проблему восстановления памятников культуры при помощи голого энтузиазма не решить, ибо когда мы восстанавливали один памятник или храм, десятки других по всей необъятной России быстро и тихо разрушали. Не хватало просто физических сил и людского потенциала. Нужна была официальная государственная политика в этой области. И эту работу мы тоже вели по мере сил. Но наши противники не дремали. Самое отвратительное, что те потоки грязи и клеветы, регулярно и обильно выливавшиеся на наши головы со страниц официальной прессы, радиопередач, телевизионных экранов, стали приниматься за чистую монету даже в церковных кругах. И это отвращение к себе как к изгоям, как к прокаженным мы стали ощущать все чаще и чаще.