После погребения императорской четы Петра III и Екатерины II Орлов должен был немедленно уехать, что он охотно и исполнил. При коронации в Москве, когда новый император прибыл в столицу, Орлов с трудом получил разрешение ехать за границу и отправился в Дрезден.
Граф хотел навсегда поселиться в Саксонии и здесь торговал себе поместье, но саксонское правительство, не желая ссориться с тогдашним Русским двором, крайне чувствительным к малейшим оскорблениям, постаралось отклонить его от намерения купить имение.
По смерти императора Павла граф возвратился в Москву, где и умер в 1808 году; Орлов скончался в самый Рождественский сочельник, и день отпевания тела его был днем сетования целой столицы. Графа отпевали в церкви Положения Риз Господних, близ Донского монастыря. При выносе гроба сотни тысяч людей, с открытыми головами и со слезами на глазах, творили молитву, a крепостные люди плакали навзрыд.
Так любили москвичи графа за его приветливость и благотворительность. В день похорон графа восьмидесятилетний сержант, чесменский герой тоже, – Изотов, тридцать лет служивший в доме графа Орлова и спасший ему однажды жизнь, был в числе провожавших тело, помогал опустить гроб в могилу и тут же мгновенно умер. Дома графа сохранились в целости от неприятельского разорения в 1812 году; в старом доме, где всегда живал покойный, устроена была городская больница; другой, новый дом, сделался царским дворцом; его любимые имения, село Остров и село Хреновое, поступили в состав государственных имуществ.
По смерти графа был уничтожен один его бег под Донским, и две китовые кости тогда же поступили в Московский университет (последние тоже уцелели от пожара 1812 года и сохраняются посейчас).
Граф А. Г. Орлов, как известно, знаменит также своими заслугами в деле российского коннозаводства – почин кровного коннозаводства и тесно связанного с ним скакового дела положен им в Москве в 1785 году.
Граф в этом году завел в столице публичные скачки на призы, ранее того выписал из Англии лучших скакунов и из Аравии – редких производителей. Известный знаток конского дела П. А. Дубовицкий говорит, что орловский рысак усовершенствован был графом по строго задуманному им плану, причем он доказал фактами, ссылаясь на другие заводы наших вельмож (и особенно на обширный Серебряно-Прудский завод графа Шереметева), имевшие те же богатые и разнообразные типы всех европейских и азиатских пород, что хотя они и производили весьма хороших лошадей, но не имели определенного типа, какой выработал граф Орлов, а потому все произведения этих громадных заводов исчезли бесследно.