В зените своего влияния Александр Матвеевич испытывал что-то вроде страха перед большим стечением народа: ему казалось, что все на него смотрят и все осуждают. Гарновский в донесениях на юг рассказывал, что во время венчания, по просьбе Мамонова, в придворную церковь, не допускался никто посторонний, кроме лиц, непосредственно присутствовавших на свадьбе. Потом последовал скромный свадебный ужин с очень небольшим числом приглашенных. Через день молодые отбыли в Дубровицу «с тем, — отмечает Гарновский, — чтоб пробраться туда прямо, не заезжая в Москву».
Добровольно запершись в Дубровицах, Мамонов изводил себя и окружающих. Неудивительно поэтому, что по Москве пополз слух о его сумасшествии. Забегая вперед скажем, что, зная о душевной болезни сына Александра Матвеевича, мы не видим в этих слухах ничего невероятного. После смерти жены он все же сумел взять себя в руки. Упрекать больше было некого, а на его попечении остались двое маленьких детей. Первым решительным шагом к выходу из затянувшегося кризиса стала для Мамонова перестройка дворца. В соответствии с канонами классицизма старое усадебное здание было увенчано фронтонами. Работы, начатые с размахом, остановились после внезапной смерти самого владельца в 1803 г. «Больная грудь» не была отговоркой — чахотка, прогрессировавшая вместе с нервным заболеванием, свела Александра Матвеевича в могилу. Все свое огромное состояние он оставил сыну, юному графу Матвею Александровичу.
Судьба этого мальчика во многих отношениях примечательна, поскольку с сыном до известной степени повторились несчастья, постигшие его отца. Блестяще образованный и талантливый молодой граф быстро продвигался по служебной лестнице, к началу войны 1812 г. в 23-летнем возрасте он был уже обер-прокурором Сената. В трагические дни, когда французы подходили к Москве, граф на свои средства формирует полк, а затем участвует с ним в заграничном походе русской армии. Однако гордый и заносчивый Матвей Александрович чем-то не поладил с Александром I и вынужден был снять генеральский мундир и уйти в отставку. Так же как и его отец, он заперся в Дубровицах, никого не хотел видеть, почти никуда не выходил, и с 1817 г. по Москве поползли слухи о его помешательстве.
Недовольный «нашим неустройством» (общественными порядками в России), Мамонов вместе со своим другом генералом М. Ф. Орловым в 1814 г. создал первую преддекабристскую организацию «Орден русских рыцарей». Известный историк Ю. М. Лотман в специальной статье, посвященной жизни графа, высказывал мнение, что причиной его безумия была расправа, учиненная над ним как над членом декабристского общества: Мамонова объявили сумасшедшим, заключили в собственном доме и в конце концов он действительно сошел сума. Непонятно правда, что помешало Николаю I, если Александр Матвеевич был в действительности здоров, сослать его, как других членов общества, в Сибирь? Вероятнее всего признаки начинавшейся болезни как раз спасли Мамонова от возбуждения против него дела, однако насильственное заточение, опека, принудительное лечение еще больше усугубили помешательство графа. Много лет он прожил под строжайшим присмотром и скончался в 1863 г., уже совершенно умалишенным.