В этом деле не остался не занятым и Пушкин. В «Путешествии Онегина» обнаруживаются «нулек на ножках» и «пролаз, о двух ногах нулек горбатый…» Для полной узнаваемости портрета поэт ставит в конце стиха оленинскую монограмму, которой тот подписывал свои рисунки.
Озлобленность Пушкина, в свое время вхожего в семью и дружного с нею, тут вызвана не только тем, что он сватался за дочь Оленина Анну Алексеевну и остался «с оленьими рогами», как шутила остроумная Екатерина Николаевна Ушакова, поклонником которой также числился Пушкин. Такие отказы, наверное, неприятны и обижают каждого мужчину. Но тут находились доводы и посильнее. Если кто забыл, подпись Алексея Николаевича Оленина, как члена Государственного совета, стоит в интересном протоколе от 28 июня 1828 года. В нем означено, что по результатам следственной комиссии над Пушкиным учреждался секретный надзор. Дело тогда шло о «Гаврилиаде» и доставило Пушкину многие хлопоты. Интересно, что выпустили Пушкина из-под надзора одновременно с Федором Михайловичем Достоевским только в 1875 году. А до этого славного момента бюрократическая машина зорко за ним приглядывала.
Всё это, усиление надзора, происходило почти что в те самые дни, когда поэт ухаживал за Анной Алексеевной и князь Вяземский находил в Приютине «Пушкина с его любовными гримасами», а «девицу Оленину довольно бойкой штучкой».
Позже Пушкин даже не захочет предоставлять Публичной библиотеке свои произведения, что Оленин принял за правило литераторам.
Оленин же не придет на отпевание Пушкина, что выходило совершенно чудовищным для просвещенного интеллектуала того времени.
Существует несколько предположений, почему Пушкину была дана отставка, а по правилам времени, если жениху отказано в невесте, то он не может и ездить в самый дом. Выходило, что поэт уже сделался уволенным от дома. И сам Пушкин определяет себя точно бесприютным. Князь Вяземский шутит на этот счет: «Разве тебя более в Приютино не пускают?…» Впрочем, дом Олениных всё ж еще доступен Пушкину, первому поэту России. Да, он уж и не так охоч, а собирается покинуть столицу для деревни. Если «достанет решимости».
Такие меры к Пушкину, в смысле его устранение, предприняты, как кажется, в первую очередь по настроению родителей невесты. Известно, что жена Оленина не была в восторге от такого соискателя. Ей был подробно известен рассеянный образ жизни Пушкина и многие его проделки — кутежи и волокитство, потому как приходилась она родной теткой знаменитой Анне Петровне Керн. К слову скажем, что и сама Анна Алексеевна не горела ожиданием этого счастливого супружества. Через годы она объяснила любопытствующим родственникам главные причины тогдашнего решения — «он был велтопаух (вертопрах), не имел никакого положения в обществе и, наконец, il n’était pas riche (он не был богат)». Правда бывает порой цинична, и о чувствах здесь ни слова. Притом 19-летняя Оленина почти 30-летнего Пушкина, как кажется, еще и слегка побаивалась. Мигом почуял это и чувствительный Пушкин и мягко на это намекнул.