С юных лет дети Ивана Матвеевича Сергей и Матвей бывали в доме Олениных и, в свою очередь, приводили туда полковника Генерального штаба И. Г. Бурцева. Будущие декабристы Е. П. Оболенский и М. М. Нарышкин гостили здесь как сослуживцы и приятели Г. Н. Оленина, родственника хозяина. Его сын Алексей Оленин приглашал домой своего сослуживца штабс–капитана Гвардейского генерального штаба А. О. Корниловича. На правах родственников бывали А. Н. Муравьёв и С. Г. Волконский. Н. И. Греч, знакомый с А. Н. Олениным с детских лет, ввёл в дом Олениных Николая Бестужева. Как сослуживец Петра Оленина по
Семёновскому полку приезжал в дом на набережной Фонтанки и будущий декабрист И. Д. Якушкин.
Вскоре после окончания Лицея салон Олениных по воскресеньям стал посещать и Александр Сергеевич Пушкин. Многое привлекало его здесь: и шумное веселье, и научная строгость узких кружковых собраний, на которых известные учёные обсуждали проблемы издания русских летописей, спорили о путях развития отечественной словесности. Пушкин принимал участие в дружеских беседах с Крыловым, Гнедичем, Батюшковым, А. И. Тургеневым, П. А. Катениным, И. М. Муравьёвым–Апостолом, М. П. Бестужевым–Рюминым, в домашних театрализованных представлениях и разгадывании шарад, играл в фанты, лапту и горелки.
Общение поэта с гостеприимным семейством прервала его ссылка сначала на юг, а потом в Михайловское.
Вот как описала свою первую встречу с Пушкиным наша героиня:
«На одном из вечеров у Олениных я встретила Пушкина и не заметила его: моё внимание было поглощено шарадами, которые тогда разыгрывались, и в которых участвовали Крылов, Плещеев и другие. Не помню, за какой–то фант Крылова заставили прочитать одну из его басен. Он сел на стул посередине залы; мы все столпились вокруг него, и я никогда не забуду, как он был хорош, читая своего Осла\ И теперь мне ещё слышится его голос и видится его разумное лицо и комическое выражение, с которым он произнёс: «Осёл был самых честных правил!»
В чаду такого очарования мудрено было видеть кого бы то ни было, кроме виновника поэтического наслаждения, и вот почему я не заметила Пушкина. Но он вскоре дал себя заметить. Во время дальнейшей игры на мою долю выпала роль Клеопатры (курсив А. П. Керн. – В. С.), и, когда я держала корзинку с цветами, Пушкин вместе с братом Александром Полторацким подошёл ко мне, посмотрел на корзинку и, указывая на брата, сказал: «Et c'est sand doute Monsieur qui fera l'aspic?» (А роль змеи, как видно, предназначается этому господину?)>{20}. Я нашла это дерзким, ничего не ответила и ушла.