Абрам Андреевич родился и вырос в семье по-настоящему ярких и даровитых людей: все его братья и сёстры смолоду вышли из общего ряда. Сам он стал генерал-лейтенантом, брат Пётр — сенатором, брат Богдан — вице-адмиралом, брат Илья — контр-адмиралом; и его сёстры Екатерина и Марья славились умом и способностями. Предание гласит, что император Павел I позвал к себе отца Боратынских, чтобы познакомиться с тем, кто родил и вырастил таких блестящих молодых воинов.
…В плену у шведов Аврам пробыл три месяца. По возвращении в Петербург его карьера развивалась стремительно, и уже в 1792 году он стал командиром Гатчинской команды. «<…> Ах, батюшка! Не могу вам описать, сколько нас любит Его Императорское Высочество! ибо когда я стану писать все подробности, то многие не поверят, только скажу: что мы во весь век наш счастливы бы были, когда оная будет такова, как теперь!..» — писал он отцу. Однако через несколько лет оная любовь великого князя переменилась: Павел Петрович отправил его в отставку, определив местом «ссылки» Адмиралтейскую коллегию. Абрам Андреевич тем не менее оставил по себе стойкую добрую память: один из знакомцев Андрея Васильевича сообщал ему в письме про сына, что «каждый офицер, каждый солдат, житель, от мала до велика, с восхищением произносят имя его. <…> И самые начальствующие все преисполнены к нему почтением и любовью, как то: Алексей Андреевич Аракчеев. Григорий Григорьевич Кушелев <…> и все прочие».
В Адмиралтействе Абрам Андреевич пробыл недолго. В ноябре 1796 года скончалась государыня Екатерина II, и Павел стал императором. Он вновь призвал на службу своих проверенных гатчинцев, а среди них и опального гвардейца. В Голощапово к отцу тотчас полетело письмо: «<…> Имею честь поздравить вас с нашим милостивым императором, которого вступлением первое дело было изливать неисчётные всем милости. — Я опять не забыт. Меня вспомнил государь на четвёртый день вступления. Я взят к нему в адъютанты с чином полковника. Вчерашний день ввечеру я поздравлен, а севодни уже и вступил в должность. — Я ни у кого не в команде, кроме самого государя. — Брата Богдана также изволил взять к себе в адъютанты <…> и севодни послан курьер в Англию за ним нарочно. — Множество милостей для всех верноподданных излил преизобильно — рекруты уничтожены; хлеб отбирать не велено… и протчего много выгод для всего государства. — Теперь прошу вас, батюшка, просите Бога, чтоб Он укрепил меня и всех нас в подвиг, ибо Его неисповедимым промыслом всё нам делается. <…>
Аврам Боратынский».