Стоит напомнить, что по его настоянию в Петербург из Фив были привезены две статуи сфинксов, установленные в 1834 году на набережной напротив Академии художеств. В его коллекцию входило итальянское деревянное распятие XVI века, Константинопольская икона Божией Матери из слоновой кости, древний складень из Лавры святого Саввы и еще десятки икон. Он получил в дар несколько частиц от Гроба Господня, от скалы Голгофской и камень от гроба Богоматери в Гефсимании. Бережно хранились им также камни из Иордана, кусок мрамора от престола древнего христианского храма в Пицунде, где проповедовал апостол Андрей Первозванный, подаренное митрополитом Филаретом рукописное Евангелие старорусского письма и другие драгоценные редкости.
Нельзя не сказать и о такой стороне деятельности Муравьева, как его полемика с Римом в 1841–1846 и 1853–1856 годах. Политико-религиозные споры в те годы развернулись по всей Европе. Между Муравьевым и католическим богословом из Страсбурга Луи Ботеном завязывается переписка о возможности воссоединения Церквей. В письме от 4 сентября 1836 года Муравьев пишет: «Люди вроде меня только жалеют об этой фатальной разъединенности Церкви», а в последующих письмах сожалеет, что Римская Церковь, занятая борьбой с протестантизмом, «совсем потеряла из виду свою восточную сестру». В 1845 году русский путешественник предпринимает путешествие в Рим с полуофициальной миссией: подготовка визита императора Николая I. Но было и иное основание: изучение причин перехода русских аристократов в католицизм (граф Г. П. Шувалов, княгиня 3. А. Волконская, графиня С. П. Свечина, князь Ф. Голицын, князь И. С. Гагарин и др.). В «Римских письмах» он пишет об этих людях с горечью: «Вместо того чтобы обратиться к коренному православному учению отцов своих… они, по искаженному воспитанию, которое от самой колыбели сделало для них чуждым все отечественное, бросаются с отверстыми объятиями к тому, что кажется доступнее их понятию». (Справедливости ради отметим, что сам И. С. Гагарин позднее с иронией вспоминал пылкую, но показавшуюся ему наивной апологетику Путешественника: «Меня не иезуиты обратили. Начало положил Петр Яковлевич Чаадаев на Басманной в 1835 или 1836 году, а дело довершил Андрей Николаевич Муравьев своею «Правдою Вселенской Церкви»). Муравьев сурово критикует католическую религиозность, различные проявления которой он увидел в римских храмах: система индульгенций, молитвы в пустых храмах, сокращенный чин литургии, совершаемой на непонятной для большинства латыни, «тайная месса», которая продолжается не более десяти минут. «Я посмотрел бы, – пишет Муравьев, – если бы ревностные римляне или новообращенные выстояли на ногах, а не сидя трехчасовую или двухчасовую обедню, пошли бы они еще про себя молиться в пустом храме?».