Любимым занятием Петра Абрамовича был перегон настоек и водок. Для этой цели построен был даже специальный аппарат. С помощью крепостного человека Михайлы Калашникова «генерал-майор от артиллерии» возводил настойки «в известный градус крепости». Возводил со страстью и без устали. Когда же случались неудачи, дворовый человек платился за них спиной. Позднее, уже служа приказчиком у Пушкиных в Михайловском, Калашников рассказывал: «Когда бывали сердиты Ганнибалы, все без исключения, то людей у них выносили на простынях».
Любимая поговорка Петра Абрамовича была: «Эй, малый, подай водки алой!» Да и не только поговорка. Впервые побывав в Петровском, Пушкин так описал поведение своего двоюродного деда: «… попросил водки. Подали водку. Налив рюмку себе, велел он и мне поднести; я не поморщился — и тем, казалось, чрезвычайно одолжил старого Арапа. Через четверть часа он опять попросил водки и повторил это раз 5 или 6 до обеда».
Подобно многим тогдашним помещикам, завёл Пётр Абрамович у себя в поместье «свой» балет, «своих» музыкантов. Тот же Михайла Калашников, обученный каким-то немцем, умел разыгрывать на гуслях русские песни. И по вечерам его игра то погружала барина в печаль, то приводила в буйное веселье. И то и другое равно страшило окружающих.
С годами «старый арап» одряхлел. Он почти не двигался. Целые дни проводил в своих креслах, окружённый многочисленной раболепной и запуганной дворней. Часто он засыпал. Потом просыпался, вздрагивал, обводил всё вокруг тусклым взглядом. Голова его тряслась. Тёмное лицо испещрили бесчисленные морщины. Память ему изменяла. Он забывал даже имена самых близких людей.
— Вообразите мою радость, — завёл он как-то разговор, — ко мне на днях заезжал… да вы его должны знать… ну, прекрасный молодой офицер… ещё женился в Казани… как бишь его… ещё хотел побывать в Петербурге… Ну… хотел купить дом в Казани…
— Да это Веньямин Петрович, — подсказали старику.
— Ну да, Веня, сын мой; что же раньше не говорите? Эх вы!
По настоятельной просьбе Пушкина Пётр Абрамович передал ему некоторые документы, и среди них неизвестно кем составленную биографию А. П. Ганнибала на немецком языке.
Петровская эпоха, её деятели, необыкновенная жизнь «арапа Петра Великого» — всё это чрезвычайно интересовало Пушкина. В слабеющей памяти Петра Абрамовича хранилось немало семейных преданий.
К 1825 году относится стихотворный набросок Пушкина:
Как жениться задумал царский арап,
Меж боярынь арап похаживает,
На боярышень арап поглядывает.
Что выбрал арап себе сударушку,
Чёрный ворон белую лебёдушку.