Семейные предания рода Разумовских говорят, что Досифея была дочерью императрицы Елизаветы и Алексея Григорьевича Разумовского, до того тихо проживавшей в одном из поместий на Украине и не помышлявшей о короне. Ее спешно привезли в Петербург, и после долгой беседы с глазу на глаз с Екатериной II она приняла решение постричься в монахини, чтоб ее имя не стало причиной новых возмущений в России. Достоверно из всей этой таинственной истории известен только один факт: когда в 1810 г. Досифея скончалась, на ее похороны собралось все многочисленное семейство Разумовских.
Время постепенно тушило самые неприятные слухи вокруг имени Алексея. Наконец, в 1782 г. он решился. Граф посватался к Евдокии Николаевне Лопухиной, одной из самых красивых и богатых невест Москвы, которой шел 21 год и… получил согласие. Тот факт, что представители старинного дворянского семейства, находившиеся в родстве с императорской фамилией, согласились выдать одну из девиц Лопухиных за незнатного, хотя и очень богатого Алексея, показывает, как высоко ставили графа в московском обществе в начале 80-х гг. 6 мая 1782 г. он венчался в своем подмосковном селе Острове с Лопухиной. На свадьбу была приглашена вся знать старой столицы. Евдокия Николаевна, по свидетельствам современников, отличалась добродушным и приветливым нравом и была очень набожна.
Алексей, в отличие от своего брата Григория, вовсе не слыл волокитой и сердцеедом, хотя всегда нравился женщинам. Судя по его портретам, он не был красив лицом, но стать, удаль и необыкновенное обаяние делали Алексея Григорьевича неотразимым. Только через три года у Орловых родилась дочь Анна. «Я не считаю его особенно способным воспитывать девочек, — писала по этому поводу Екатерина II доктору Циммерману, — поэтому желала ему сына». Императрица ошибалась. Трудно себе представить, что в этом хладнокровном, порой жестоком человеке найдется столько нежности и ласки для маленького беззащитного существа, вскоре оставшегося без матери. В августе следующего 1786 г. после тяжелых вторых родов умерла Евдокия Николаевна. Память маленькой Нинушки, как Алексей называл дочь, не сохранила образа матери, но в доме ее имя было овеяно таким почитанием, что, повзрослев, Анна Алексеевна всегда подчеркивала свое особое расположение к материнской родне.
Летом 1787 г. началась вторая русско-турецкая война, и перед овдовевшим Алексеем вновь замаячил призрак возвращения к государственным делам. В Москве его ничто не удерживало, кроме грустных воспоминаний. Императрица звала графа в столицу, т. к. намеревалась назначить командующим формируемой на Балтике новой эскадры, которая, по мысли Екатерины, должна была повторить рейд в Архипелаг. И тут интересы самого Орлова пришли в столкновение с интересами московских оппозиционных кругов, поддержки которых он так долго добивался. В Москве новая война на юге была крайне непопулярной, присоединение Крыма в 1783 г. тоже не вызвало здесь восторга. Один из самых ярких вождей правой дворянской оппозиции правительству князь М. М. Щербатов в своем выступлении в Дворянском собрании Москвы открыто обвинил императрицу и Потемкина в разжигании конфликта с Турцией. Деньги, потраченные на освоение новых южных земель, строительство там городов и создание флота назывались выброшенными на ветер. Ту же мысль высказывал и Алексей, забывая, что прежде, когда власть находилась у него в руках, он был самым твердым сторонником активной внешней политики России именно на юге и составлял проекты, касавшиеся возмущения греческого населения турецких владений и захвата Константинополя.