Сад Нескучного Алексей Григорьевич гостеприимно открыл для общественных гуляний, которые так любили москвичи. Расположенный на холмах и взгорьях, разбитый на множество дорожек, искусственных прудов, окруженных купальнями и беседками, этот сад сразу приглянулся московской знати. Летом каждое воскресенье в Нескучном для увеселения публики граф устраивал праздники с фейерверками и угощениями.
Одной из самых популярных московских забав, посмотреть на которую охотно собирались не только мужчины но и дамы, были кулачные бои. Они устраивались обычно в зимнее время под старым Каменным или Троицким мостом. Еще мать Петра I царица Наталья Кирилловна любила ездить сюда в санях и любоваться удалью сражающихся. От небольшой запруды речка Неглинная в этом месте образовывала пруд, тянувшийся во всю длину современного верхнего Кремлевского сада. На льду искусственного водоема происходила любимая народная потеха.
Орлов не только сам участвовал в боях, причем очень часто выходил из поединков с победой, но и организовал первую в России школу для кулачных бойцов, куда отбирал мужиков из соседних деревень и своих крепостных. Создание профессиональной школы и введение в борьбу жестких правил, не позволявших калечить противников, сразу принесло Алексею огромную популярность. Публика специально собиралась болеть за графа — кулачного бойца. Первый Георгиевский кавалер, ближайший друг и сподвижник Екатерины II не гнушался выходить на утоптанный и посыпанный опилками снег, чтоб принять участие в любимой народной потехе. Алексей стал кумиром. Его примеру последовали и другие представители благородного сословия, давно мечтавшие, но не решавшиеся переступить через грань приличий.
Школой кулачных бойцов Алексей Григорьевич занимался всерьез. Он отвел для нее помещение в своей городской усадьбе, где проводились тренировки. Английский путешественник Уильям Кокс, посетивший Москву в конце 70-х гг. XVIII в., описал одну из таких тренировок в доме графа Орлова. Кокс был очарован Алексеем и тем, как граф умел управлять огромной толпой собравшихся бойцов. «В одно время между собою могли бороться только двое, — писал англичанин, — на руках у них были одеты толстые кожаные перчатки… Положения у них были совсем иные, чем у борцов в Англии… Когда же иной боец своего противника валил на землю, то его объявляли победителем, и тот час же прекращалась борьба этой пары… Иные из бойцов отличались необычайной силой, но их обычай в бою мешал несчастному случаю, также мы не заметили перелома руки или ноги, которыми обычно кончаются бои в Англии». Кокс с увлечением сравнивал русские приемы единоборства с английскими. Интересно, что при глубокой несхожести культур жители России и Британских островов отдавали предпочтение одним и тем же видам развлечений — бокс и лошади.