Приехав в Москву, Алексей организовал бега на поле под Донским монастырем. Он первым ввел моду кататься по городу в легких беговых санках с русской упряжью. Место, избранное им для катаний, было очень удобно, и многие московские аристократы обращались к нему за разрешением принять участие в бегах. Граф ни кому не отказывал, но ставил условие употреблять русскую упряжь. С этого времени знать старой столицы отказывается от тяжелых вызолоченных немецких саней, очень неудобных для движения на улицах города.
Скачки были давним пристрастием Орлова. Со свойственным графу деловым подходом он сумел превратить это азартное зрелище в особую отрасль своего московского хозяйства. Во время военных действий в Средиземном море он задумался о создании собственного конного завода. Из Египта ему привезли 30 жеребцов и 9 кобыл, еще больше лошадей удалось приобрести в Англии. Граф не постоял за ценой, но стремился забрать лучшее. Потянулись долгие годы селекционных работ, поскольку Алексей поставил целью вывести совершенно новую породу рысистой лошади, годную для природных условий России. По мысли Орлова, быстроту и благородство внешнего вида арабского скакуна необходимо было соединить с выносливостью и статью фрисландских рысаков. Граф выписал для своего завода специалистов из Германии и Англии. Они занялись обучением русских конюхов, превращая их в классных тренеров и жокеев.
Селекция новой породы заняла в жизни Алексея Григорьевича то место, которое некогда отводилось службе. Это не было развлечением скучающего отставного вельможи, но настоящим делом, которое могло принести не меньшую пользу, чем военный рейд в Архипелаг. С 1785 г. граф завел в Москве публичные скачки на призы. Бега завораживали зрителей, изысканная красота лошадей, выведением которых занимался Орлов, не могла не восхищать, щедрость призов, раздаваемых графом, даже если победу одерживали не его лошади, заставляла говорить о нем, как о человеке справедливом и бескорыстно увлеченном своим делом. Словом, Алексею удалось купить сердца москвичей. Но это было еще не все.
Для возвращения в большую политику Алексей нуждался в поддержке реальной силы, он должен был войти в ряды московской оппозиции правительству и из общего любимца превратиться в признанного руководителя общественного мнения Первопрестольной.
Между тем именно в это время по возрождающейся репутации Орловых был нанесен мощный удар. И не врагом или политическим соперником, а самим Григорием Григорьевичем, который в феврале 1777 г. женился на собственной двоюродной сестре Е. Н. Зиновьевой. Браки в такой степени родства считались кровосмесительными и отвергались церковью. Венчание Г. Г. Орлова вызвало скандал в Петербурге и бурю возмущения московского общества. На заседании Государственного Совета было решено расторгнуть брак и обоих постричь в монастырь. Екатерина II отказалась подписать решение Совета, пожаловала Зиновьеву статс-дамой и послала к ней ленту св. Екатерины. Петербургское общество вынуждено было замолчать. Чего нельзя сказать о московском. Когда покинувшие столицу молодые по пути в деревню проезжали Москву, толпы возмущенных горожан бросали вслед их карете камни и грязь.