В 1839 году Фонвизин обратился к властям с просьбой перевести его рядовым на Кавказ, но ввиду его «преклонных лет» в этом ему было отказано. Умер, не дождавшись свидания с дочерью, отец Натальи Дмитриевны. Почти совсем ослепла мать. Каждый год она писала прошения властям разрешить ей увидеться с дочерью, пока она окончательно не потеряла зрение. В 1841 году Наталья Дмитриевна отправила Бенкендорфу письмо, в котором обещала не видеться с детьми, если ей позволят приехать на свидание с матерью. Бенкендорф ответил, что «по существующему воспрещению женам государственных преступников выехать из Сибири до смерти их, ходатайство Фонвизиной отклонить». Вскоре мать умерла.
В 1846 году скончался в Тобольске почти на руках Натальи Дмитриевны Вильгельм Кюхельбекер. «Приехали в субботу в день его кончины некоторые товарищи, и была Наталья Дмитриевна, и он тогда скончался»[219],— напишет жена Кюхельбекера его сестре. А в 1850 году, когда в тобольский острог привезли сосланных петрашевцев, в том числе Ф. М. Достоевского и С. Ф. Дурова, Фонвизины узнали страшную новость: их старший сын Дмитрий, студент Московского университета, также принадлежал к этому кружку. Наталья Дмитриевна виделась в остроге с Петрашевским, Достоевским и Дуровым, много помогла им, но тревога и беспокойство за сына были для Фонвизиных мучительны[220]. Дмитрий Фонвизин случайно избежал ареста, так как уехал лечиться на юг, хотя бумаги об его аресте уже были подписаны.
В октябре 1850 года он скончался. Через год умер и его брат Михаил. Наталья Дмитриевна писала в этот год Ст. Знаменскому: «Говорят, что время все сглаживает; я не замечаю этого! Если мое горе не так остро и не так жгуче, как в первые минуты, зато оно теперь все более распространяется в моем сердце, сливается со всеми моими чувствами и ощущениями, объемлет все мое существование. Душа так наболела, что мне даже трудно представить себе, чтобы когда-нибудь было иначе. Время исцеляющее других, меня все более и более поражает...»[221]
После смерти обоих племянников брат Михаила Александровича начал усиленные хлопоты о разрешении Фонвизиным вернуться — уже не для свидания с родными, которых, кроме него, не осталось, но чтобы посетить дорогие могилы. 18 февраля 1853 года «во всемилостивейшем внимании к преклонным летам братьев Фон-Визиных и одиночеству их после смерти детей и близких» было разрешено супругам Фонвизиным вернуться из Сибири. Они поселились в Бронницах под Москвой, в именин И. А. Фонвизина Марьине под надзором полиции.
Получив это сообщение одновременно с известием о тяжелой болезни брата, Михаил Александрович в сопровождении жандарма поспешно выехал из Тобольска 15 апреля 1853 года, оставив Наталью Дмитриевну для сборов и приведения в порядок дел. Однако брата в живых не застал. Наталья Дмитриевна выехала 4 мая вместе с няней, которая провела с ними все сибирские годы изгнания.