Секретарь саксонского посольства Гельбиг, обычно раздражительный и резкий, говорил о Мамонове в благожелательной манере: «очень умен, проницателен и обладал такими познаниями… в некоторых научных отраслях, особенно же во французской и итальянской литературах, что его можно было назвать ученым; он понимал несколько живых языков, а на французском говорил и писал в совершенстве».
Заметив прекрасный слог молодого поручика, Екатерина быстро привлекла его к ведению переписки с иностранными корреспондентами. Сама она писала по-французски не безупречно, иногда употребляя тяжеловесные немецкие обороты. По собственному выражению императрицы, ей нужна была «хорошая прачка, чтоб стирать написанное». Именно такой «прачкой» для Екатерины стал Дмитриев-Мамонов, довольно серьезно редактировавший ее стиль. Александр Матвеевич писал пьесы, некоторые из них были поставлены в Эрмитажном театре, хорошо рисовал, делал удачные карикатуры мелом, от которых умирало со смеху избранное придворное общество на камерных собраниях у императрицы. Среди его архива, разобранного уже в первой четверти XIX в. дочерью графа, был обнаружен искусно вырезанный силуэт Екатерины II.
Обладая врожденным вкусом, Мамонов любил носить красное, гармонировавшее с его черными глазами. Поэтому сначала Екатерина, а за ней и весь двор прозвали его «Красный кафтан». Протеже Потемкина, Мамонов принадлежал к его партии. Часто отсутствуя в столице, князь нуждался в преданном ему человеке возле императрицы. Первые годы своего фавора Александр Матвеевич оправдывал надежды покровителя. Однако близилось время, когда молодой человек, почувствовав степень своего влияния на Екатерину, захотел занять при ней первую роль. Пустяковый, на первый взгляд, случай с Дубровицами стал своего рода пробой пера, попыткой показать покровителю, как много он значит для императрицы.
По общему мнению, Мамонов имел один весомый недостаток — страсть к накоплению и приобретению. Иными словами, жадность. Образ Дубровиц оставил в его сердце незаживающую рану, и после отъезда Александр Матвеевич приступил к императрице, умоляя купить для него подмосковное имение Потемкина. Князь любил Дубровицы. Село было куплено Григорием Александровичем в 1781 г. у князя С. А. Голицына, оно располагалось на старых боярских землях и было застроено с размахом. Хотя сам светлейший там не жил, но денег на приведение в порядок запущенного прежними разорившимися владельцами имения не жалел. Особая привязанность князя к Дубровицах объяснялась тем, что он сам думал под старость, подобно другим русским отставным вельможам, перебраться в Москву и здесь доживать свой век. Но судьба не отпустила ему ни времени, ни места для покоя.