Но всему приходит конец. Пришел он и веселому существованию Орлова в Первопрестольной. Осенью 1796 г. Алексей Григорьевич поехал в Петербург для получения заграничного паспорта, т. к. собирался отправиться на лечение в теплые края, но в столице узнал о кончине Екатерины II. Новый государь Павел I приказал перенести тело свергнутого Петра III из Александро-Невского монастыря в Петропавловский собор, где покоился прах всех императоров, нести корону перед гробом несчастного монарха было приказано Алексею Орлову, как убийце последнего. Павел в этом не сомневался. Известны его слова, брошенные Орлову: «Бери и неси!» Алексей с каменным лицом исполнил приказание Павла.
Очевидец этих событий секретарь саксонского посольства Гельбиг пишет об Алексее Григорьевиче: «Один из первых чинов при императорском дворе… он должен был сделать пешком трудный переход и на всем этом пути был предметом любопытства, язвительных улыбок и утонченной мести!» Больше 30 лет Алексей Григорьевич старался смыть с себя позорное клеймо ропшинской трагедии, теперь император вновь превращал его в «Меченого».
После помпезных «торжеств» перезахоронения Орлов получил приказание покинуть Россию. Он взял с собой дочь, а вскоре к изгнанникам присоединилась и Марья Семеновна, которой перед этим часто писала Анна Алексеевна, прося приехать и поддержать их с отцом. За границей Бахметеву принимали как «графиню Орлову», чета путешественников не стремилась развеять это заблуждение. В Дрездене, Лейпциге, Карлсбаде для знаменитого сподвижника Екатерины II устраивали великолепные праздники. Орлов был чрезвычайно популярен. Возвращения домой не предвиделось, и многие немецкие друзья стали советовать графу навсегда поселиться за границей. «Если б так поступить, то лутче дневного света не видать», — с тоской писал Алексей родным в Россию.
В 1801 г. после убийства Павла I и вступления на престол Александра I, Орлов получил возможность вернуться в Россию. Граф участвовал в коронационных торжествах, бывал на официальных званых обедах в Кремлевском дворце, новый император благоволил к сподвижникам своей бабки.
Известный московский мемуарист начала XIX в. профессор Московского университета П. И. Страхов оставил зарисовку появления Орлова на улицах Москвы: «И вот молва в полголоса бежит с губ на губы: „едет, едет, изволит ехать“. Все головы оборачиваются в сторону к дому графа Алексея Григорьевича. Множество любопытных зрителей всякого звания и лет разом скидают шапки долой с голов… Какой рост, какая вельможная осанка, какой важный и благородный и вместе добрый и приветливый взгляд!» «Неограничено было к нему уважение всех сословий Москвы, — подчеркивает другой мемуарист С. П. Жихарев, — и это общее уважение было данью не сану богатого вельможи, но личным его качествам». Доступный, радушный, обустраивавший все вокруг себя на русский лад, граф импонировал москвичам своей национальной колоритностью. Он, как никто другой, отвечал представлениям того времени о поведении вельможи в обществе.