Фамилия Полторацких появилась в Петербурге в царствование Елизаветы Петровны. Тогда был привезён в столицу молодой украинец, обладающий прекрасным голосом, — Марк Фёдорович Полторацкий. Он сделал карьеру — стал первым директором придворной певческой капеллы, получил дворянство. Елизавета, а затем и Екатерина II к нему благоволили. Одаривали поместьями, тысячами крепостных душ, земельными участками в столице.
У Марка Полторацкого было много детей. Трём дочерям достались в приданое участки на Фонтанке.
Ещё с петровских времён на поросших лесами берегах Фонтанки охотно строились вельможи. Здесь возводили они загородные дома. Тогда это было за городом. Полиция обязывала владельцев таких домов вырубать вокруг леса, чтобы лишать укрытия разбойников. От непосильных тягот, от каторжного труда в строящемся Петербурге в этих лесах скрывалось немало «работных людей».
В царствование Екатерины II на расчищенных уже берегах Фонтанки выросло множество пышных зданий — дворцов и особняков. Здесь возвели дворцы князь Юсупов и граф Шереметев, Гаврила Романович Державин купил и заново перестроил для себя отличный особняк. Здесь же, на огромном участке, принадлежавшем Полторацкому, появилось три совершенно одинаковых дома. Один из них вскоре стал известен как дом Оленина.
Александр I называл директора Публичной библиотеки и президента Академии художеств «тысячеискусником». Действительно, этот маленький человек с некрасивым умным лицом и оттопыренными ушами обладал всевозможными талантами. Ловкий царедворец, умевший со всеми ладить, преуспевающий сановник, Оленин был в то же время одним из основателей русской археологии, неплохим рисовальщиком, знатоком и любителем искусства. Его дом на Фонтанке украшали картины, статуи, античные слепки, этрусские вазы.
Это было жилище просвещённого русского барина, где «приятности европейской жизни» сочетались с чертами патриархального крепостнического быта.
Кроме хозяев, их детей, дом населяли приживалки, бедные родственницы, воспитанницы, гувернёры, гувернантки, многочисленная дворня. За изобилие обитателей и их разнородность арзамасец Вигель называл дом Олениных «Ноев ковчег». Для полноты картины следует добавить, что в «Ковчеге» жил даже индус, которого Оленин подобрал полузамёрзшим где-то на Фонтанке.
В «Ковчеге» любили гостей, особенно знаменитых. Хозяин-меценат покровительствовал талантам.
Здесь дневали и ночевали Крылов и Гнедич. Оба служили в Публичной библиотеке под начальством Оленина. Крылов, одинокий холостяк, стал как бы здешним домочадцем.