Своим человеком у Олениных был И. А. Крылов. В 1808—1810 годах он служил под началом Алексея Николаевича в Монетном департаменте, а с января 1812 года, после назначения Оленина директором Императорской публичной библиотеки, перешёл туда сначала помощником библиотекаря, а с 1816 года – библиотекарем. «В первый визит мой к тётушке Олениной, – вспоминала А. П. Керн, – батюшка, казавшийся очень немногим старше меня, встретясь в дверях гостиной с Крыловым, сказал ему: „Рекомендую вам меньшую сестру мою“. Иван Андреевич улыбнулся, как только он умел улыбаться, и, протянув мне обе руки, сказал: „Рад, очень рад познакомиться с сестрицей“».
Посетителями петербургского салона Олениных были литераторы Г. Р. Державин, В. В. Капнист, Н. М. Карамзин, В. А. Жуковский, П. А. Вяземский, В. А. Озеров, А. А. Шаховской, Н. И. Гнедич, К. Н. Батюшков, И. И. Козлов, А. Мицкевич, С. Н. Марин, А. С. Грибоедов, П. А. Плетнёв; писатель, драматург и переводчик М. Е. Лобанов; музыканты М. И. Глинка и братья Виельгорские; живописцы А. Г. Венецианов, О. А. Кипренский, А. П. и К. П. Брюлловы, Ф. Г. Солнцев; гравёры Н. И. Уткин и Ф. И. Иордан; скульпторы Ф. П. Толстой и С. И. Гальберг; актёры А. С. Яковлев, Я. Е. Шушерин, И. И. Сосницкий, Е. С. Семёнова; певец Н. К. Иванов, палеограф и нумизмат А. И. Ермолаев.
Упомянутый Анной Петровной Иван Матвеевич Муравьёв–Апостол был родственником её бабушки А. Ф. Муравьёвой; по материнской линии он приходился правнуком украинскому гетману Даниле Апостолу. Он являлся членом Российской академии и Беседы любителей российской словесности. В последние годы царствования Екатерины II был назначен воспитателем великих князей Константина и Александра Павловичей, при Павле I служил сначала его советником по внешнеполитическим вопросам, а затем – посланником в Гамбурге и Мадриде. Он написал комедию «Ошибки, или Утро вечера мудренее», проникнутые искренней любовью к родине «Письма из Москвы в Нижний Новгород» и «Путешествия по Тавриде», а также перевёл «Облака» Аристофана и «Школу злословия» Шеридана. С 1806 года Иван Матвеевич владел полтавским имением Апостолов Бакуловка. Анна Петровна упоминает о том, что именно И. М. Муравьёв–Апостол в 1807 году, когда нуждался, занял у её матери, да так и не отдал те самые 70 голландских червонцев, что были положены под подушку после её рождения. В 1816 году, когда И. М. Муравьёв–Апостол вёл тяжбу с майоршей Сенельниковой за имения сына гетмана М. Д. Апостола в Полтавской губернии, Пётр Маркович Полторацкий был его поверенным и принял опеку над его детьми. Некоторое время Муравьёв–Апостол жил у Полторацкого в Лубнах.