Свои научные знания Оленин успешно совмещал с государственной службой. В 1808 году он был назначен директором императорской библиотеки, в 1812 году вместо Сперанского стал государственным секретарем. В 20-е годы Оленин — президент Академии художеств и директор петербургской публичной библиотеки. Быстрому его продвижению по службе способствовали не столько высокие связи, сколько выдающиеся организаторские способности, образованность, ум. Сослуживцы отмечали, что его отличало доброжелательное отношение к подчиненным; в общении Оленин был прост, доступен, внимателен.
«Дом Оленина, — писал историк Петербурга Пыляев, — соединял все, что было замечательного в Петербурге по части литературы и искусства. Здесь Озеров читал в первый раз свою трагедию „Эдип в Афинах“; тут раздавались роли артистам: Яковлеву, Шушерину, Семеновой; здесь писал свои чудные декорации Гонзаго и строил свои театральные машины славный механик итальянец Бриганций». В его гостиной собирались люди самых различных художественных направлений, писатели, художники, музыканты, ученые. Среди них Гнедич, Озеров, Крылов, Батюшков, Грибоедов, Жуковский, Катенин, Пушкин, Карамзин, Брюллов и Кипренский. Вместе с тем оленинский салон, наряду с художниками и поэтами, посещали и представители передовой дворянской интеллигенции. Среди них — будущие декабристы: братья Муравьевы, Никита и Александр, Сергей и Матвей Муравьевы-Апостолы, полковник генерального штаба И. Г. Бурцов, штабс-капитан А. О. Корнилович, сослуживец сына хозяина, Петра Алексеевича Оленина, по Семеновскому гвардейскому полку князь С. П. Трубецкой. Художник и медальер Ф. П. Толстой, будучи членом Коренной управы Союза Благоденствия, ввел в дом Оленина братьев Бестужевых — известного романиста Александра и Николая, историка русского флота. Бестужевы с детства увлекались искусством, особенно рисованием.
Мемуары сохранили картину оленинских вечеров. «Предметы литературы и искусства оживляли разговоры, — писал часто бывавший в салоне С. С. Уваров, — совершенная свобода в обхождении, непринужденная откровенность, добродушный прием хозяев давали этому кругу что-то патриархальное, семейное… Сюда обыкновенно приводились все литературные новости, вновь появившиеся стихи, известия о театрах, о книгах — словом, все, что могло питать любопытство людей, более или менее движимых любовью к просвещению».[173] Наиболее близок был хозяину дома И. А. Крылов, с которым его соединяла долголетняя дружба. Оленин покровительствовал баснописцу. По его рекомендации Крылов был принят на службу в Публичную библиотеку. Холостяк Крылов, любивший уют семейного, хлебосольного дома Олениных, стал постоянным посетителем их вечеров.