В глазах современников Орлов оказался запятнан кровью монарха. Согласно православным представлениям грех цареубийства — один из самых тяжких. «Не прикасайтесь к помазанным моим», — сказано в Псалтыри. Пока Орлов находился в силе, он мог не обращать внимание на отношение публики к себе. Ему ни кто не осмелился бы отказать от дома или не подать руки. Но вот настал час отставки и Алексею предстояло испить всю чашу неприязни, которая накопилась в Первопрестольной по отношению к Орловым. Граф мог отправиться в свои обширные имения и избежать встречи с московской знатью. Но он принял бой.
Жизнь нашего героя начиналась в Москве на тихой Малой Никитской улице в Земляном городе, где его отец, бывший новгородский губернатор, Григорий Иванович Орлов владел домом. Известно, что человек возвращается в места своего детства и принимается за старые, некогда любимые им занятия, именно в сложные минуты жизни, когда ему нужна душевная поддержка. В такой поддержке Алексей Григорьевич нуждался. Совсем недавно он потерпел поражение при дворе. С начала 70-х гг. партия Орловых стала терять силу, сначала в противостоянии с Паниными, затем с Г. А. Потемкиным. Наконец, он был вынужден оставить службу. Поняв, что его усилия поколебать могущество светлейшего князя тщетны, Орлов решил надолго обосноваться в Москве, сжиться с московской оппозицией правительству в Петербурге и использовать ее в своих интересах.
Алексей поселился в великолепном доме неподалеку от Донского монастыря, где, согласно традиции, начал держать открытый стол. На его обеды мог без приглашения прийти любой «человек из общества», и лишь, если гость оказывался без мундира, хозяин справлялся о его звании. Открытый стол — одна из отличительных черт быта вельможи XVIII — как бы с самого начала показала москвичам, что граф не собирается прятаться от общества. Более того, любой приехавший в старую столицу дворянин мог рассчитывать на гостеприимство Орлова, что в глазах людей того времени, без сомнения, говорило в его пользу. По воскресным дням в доме у Донского монастыря обедало до 300 человек.
Чтобы привлечь симпатии общества старой столицы, граф стал заниматься устройством любимых развлечений москвичей: скачками, кулачными боями, петушиными драками, псовой охотой. Согласно веяниям времени, он создал свой дворовый театр, поскольку Москва тогда считалась признанной театральной столицей России. В те времена Нескучное было селом. Здесь долгие годы существовал т. н. «воздушный театр» Алексея Орлова, представления давались под открытым небом. Вместительная галерея полукружьем огибала сцену, для которой обсаженные вокруг нее кусты и деревья заменяли декорации. Это нововведение пришлось очень по вкусу московской публике, и на необычные спектакли к графу Орлову стало собираться лучшее общество.