Обладая огромным состоянием и прекрасными задатками, граф, уйдя в отставку, так и не нашел себе дела. Свою опалу он переносил гораздо болезненнее, чем другие вельможи того времени, оказавшиеся в Москве на вынужденном покое. Блестящий кавалер, остроумный собеседник, приятный гость, он даже не попытался вписаться в круг московского дворянского общества того времени и тем самым добровольно лишил себя общения с людьми.
Почему? Может быть общество было к нему не расположено? Напротив. В это же самое время в Москве жил другой отставной фаворит Екатерины II Иван Николаевич Римский-Корсаков, история опалы которого напоминала случай Мамонова. Его фавор окончился 10 лет назад из-за связи с приятельницей императрицы графиней П. А. Брюс. Правда, Прасковья Александровна не была молоденькой фрейлиной, они с императрицей родились в один год, но «Брюсша», как графиню за глаза именовали в свете, считалась красивейшей дамой при дворе и была широко известна своими куртуазными похождениями. О Римском-Корсакове москвичи сплетничали ни чуть не меньше, чем о Мамонове. Дело усугубилось еще и тем, что он увез с собой в старую столицу Е. П. Строганову, жену одного из богатейших меценатов России А. С. Строганова. Влюбленная дама разъехалась с мужем и открыто поселилась в доме Римского-Корсакова в Москве. Жили они по-семейному, имели общих детей, получивших впоследствии дворянство под фамилией Ладомирских, и ни от кого не прятались.
Итак, дорога для Мамонова была уже проложена. Ничего необычного в его приезде в старую столицу не замечалось. Куда сложнее было когда-то Г. Г. Орлову проехать через Москву, где толпа забрасывала его карету грязью, или А. Г. Орлову явиться в старую столицу с клеймом цареубийцы на лбу, но и они нашли в себе мужество не прятаться. Сделай Мамонов шаг навстречу московскому обществу, найди в себе силы жить в нем, и рано или поздно он был бы принят. Но мягкий и мнительный Александр Матвеевич не смог.
Ланжерон писал в мемуарах: «Некоторые из фаворитов умели облагородить свое унизительное положение: Потемкин, сделавшись чуть не императором, Завадовский — пользой, которую приносил в администрации; Мамонов — испытываемым и не скрываемым стыдом». Во время памятного разговора Екатерины с А. В. Храповицким о женитьбе Мамонова императрица сказала: «Он от всех отдалился, избегал даже меня. Его вечно удерживало в его покоях стеснение в груди. А на днях вздумал жаловаться, будто совесть мучает его; но не мог себя преодолеть… Сперва, ты помнишь, имел до всего охоту, и все легко давалось, а теперь мешается в речах, все ему скучно, и все грудь болит».