Архимандрит Филарет оказался в центре событий. Он не допускал себя до личной неприязни к рязанскому владыке, и "когда тот проезжал через Коломну, загодя предупредил отца, чтобы особенно приветливо встретил гостя, не забыв угостить хотя бы водкою и пирогом. Но Филарет полагал неправильным вмешательство Феофилакта в дела академии и настоял на возвращении полномочий академическому правлению.
Вдобавок, когда Феофилакт распорядился об издании сочинения француза Ансильона «Эстетические рассуждения», переведённого опекаемыми им студентами академии, то Филарет прямо сказал на правлении, что не хотел бы видеть имена воспитанников академии на сочинении, в коем многое несогласно с духом самой академии. Митрополит его поддержал. И не хотел Филарет раздувать конфликт, но принуждён был взяться за написание разбора обсуждаемого сочинения.
Дело с Ансильоновым переводом оказалось нешуточным. Голицын письменно доложил о нём государю, находившемуся за границей, ожидая благоприятной для себя резолюции, но таковой не получил. Александр Павлович хотя и не позволил напечатать опровержение Феофилактом возражений Филарета на вышедшую таки книгу, но приказал рассмотреть дело в рамках Комиссии духовных училищ. Голицын не подозревал, что рязанский архиепископ обратился за помощью к Аракчееву, сильно ревновавшему государя к князю.
19 ноября 1813 года Аракчеев писал из Франкфурта-на-Майне своему приятелю в Петербург: «Благодарю за сообщение восставших злых каверз на почтеннаго нам знакомаго пастыря. Я не упущу случая воспользоваться, дабы несколько слов на сей счёт сказать. Дай Бог, только бы мне удалось применить удобный к оному час, ибо я такого всегда правила, что надобно сказать в такое время, которое видишь, что посеянныя слова произведут плод, а без онаго лучше ждать, чем пустословить».
Тогда обер-прокурор сделал ход сильный и ловкий. Он предложил доверить рязанскому архиепископу благороднейшее поручение: обследовать епархии, пострадавшие в ходе французского нашествия, для исследования состояния церквей и монастырей и составления плана по восстановлению разрушенного и утраченного. Государь прислал архиепископу личный рескрипт, а вдобавок распорядился о выделении содержания в пять тысяч рублей. Феофилакту предоставлялись Широкие полномочия, в частности, для расследования поведения иереев и архиереев в период нашествия. Отказаться он не мог.
Удаление Феофилакта под почётным предлогом почти на полгода из Синода привело к окончательному падению его влияния. Объехав смоленскую, Могилёвскую, минскую и волынскую епархии, он попросился в отпуск в Петербург, но Голицын липший месяц продержал его в Смоленске. Когда Феофилакт вернулся в столицу, оказалось, что его квартира в здании духовной академии занята, и владыке пришлось ехать на подворье. Вслед за ним в столицу донёсся ворох слухов и сплетен о самоуправство Феофилакта в разорённых губерниях, о будто бы несправедливом отрешении от сана Могилёвского епископа Варлаама Шимацкого, принёсшего присягу Наполеону и отслужившего молебен о его здравии. Говорили и о несправедливом распределении выделенных Синодом сумм, о некой недостаче в деньгах, то ли потерянных архипастырем, то ли украденных его духовником. Тем не менее отчёт архиепископа был принят. Не успел он перевести дух, как состоялось заседание Комиссии духовных училищ с обсуждением книги Ансильона.