В жизни, как и в романе Моэма, побеждает более талантливая и богато одаренная натура. Промучившись около года в подмосковной глуши, Александр Матвеевич не выдержал. «Случай, коим я по молодости лет и по тогдашнему моему легкомыслию удален… стал от Вашего Величества… — писал он Екатерине из Дубровиц, — беспрестанно терзает мою душу… Возможно ли, чтобы я нашел случай доказать всем… ту привязанность к особе Вашей, которая, верьте мне, с моею только жизнью кончится». Императрица не оставила письма бывшего фаворита без ответа, но обстоятельства ее жизни изменились, теперь возле нее был другой — П. А. Зубов. В ответе Екатерина справилась о том, как поживают домашние Мамонова, мягко показывая тем самым, что просьба Александра Матвеевича теперь, после свадьбы, не реальна. «Сколь я к ней не привязан, — писал Мамонов о семье, — а оставить ее огорчением не почту».
Это была горькая правда. Жизнь молодых в Москве и Дубровицах нельзя было назвать счастливой. Александр Матвеевич бросался на стены от безделья. Не даром Потемкин, как бы он ни был рассержен на своего неблагодарного и корыстного протеже, советовал Екатерине не забывать о способностях молодого человека и отправить его куда-нибудь послом. Все что угодно, только не бездействие. Светлейший князь знал, о чем говорил. В жилах выходцев со Смоленщины, Дмитриевых-Мамоновых текло много польской крови. Григорий Александрович сам принадлежал к православной смоленской шляхте и понимал «национальные» особенности этой среды. В одном из писем Екатерине, доказывая пользу службы поляков в русской армии, он говорил: «Пусть лучше здесь себе головы ломают, чем бьют баклуши в резиденциях и делаются ни к чему не годными». Запертый в Дубровицах, Мамонов именно «бил баклуши в резиденции», и с каждым днем все больше нравственно опускался.
Ни в чем не желая упрекать себя, он считал жену виновницей своего главного несчастья — удаления от Екатерины и вынужденного безделья. Упреками и мелким домашним тиранством граф буквально изводил несчастную женщину, которая и так не чувствовала себя хозяйкой в доме, где каждая мелочь, каждая ваза, табакерка, перстень, платок напоминали об императрице. В Москве Дарья Федоровна родила двоих детей: Матвея и Марию, но и это не смогло вновь сблизить ее с мужем. Молодая графиня заметно чахла, и наконец в 1801 г. умерла. Ее супруг, замкнутый и избегавший общества, вынужден был сам заняться детьми. Александр Матвеевич относился к малышам скорее как добросовестный опекун, чем как любящий отец. Их окружало множество воспитателей и учителей, некоторые из которых были специально выписаны графом из Парижа. Надо отдать Мамонову должное, его дети действительно получили прекрасное образование, но отсутствие домашнего тепла болезненно сказалось впоследствии на характерах обоих.