Граф Дмитрий Андреевич Толстой родился в 1823 г. в Москве. Он окончил Царскосельский лицей, после чего началась его успешная государственная служба. По словам А. А. Половцова, своей карьерой он был обязан дяде – Дмитрию Николаевичу Толстому. Это был прямой, умный, честный человек, но при том большой чудак. В старости он женился, и в итоге племянник лишился наследства – родового имения Толстых. Этого Д. А. Толстой своему дяде, фактическому воспитателю, никогда не простил. На следующий день после его смерти (1884) он устроил у себя дома праздник, на котором присутствовала и императорская семья.
По молодости лет Толстой был либеральных взглядов, однако со временем от них отказался, и более того, для многих стал живым символом реакции. В 1865 г. Толстой занял должность обер-прокурора Св. Синода, а в 1866 г. – министра народного просвещения. Эти «портфели» он совмещал до своей отставки в 1880 г. Примечательно, что церковь фактически возглавлял человек, весьма индифферентный к вопросам веры. Торжество же классицизма (то есть мертвых языков) в гимназии объяснялось не программой Толстого, которой вовсе не было, а влиянием М. Н. Каткова и ненавистью к прежнему министру народного просвещения А. В. Головнину. На бюрократический Олимп Толстой вернулся в 1882 г., возглавив Министерство внутренних дел. Фактически он стал вторым человеком в государстве. При этом Толстой имел репутацию «самого неумолимого, неуловимого и ленивого министра». Он рассматривал дела только исключительной важности. Просматривал их чрезвычайно быстро. Самое обширное дело он возвращал через два-три часа. Какие-либо записки на его столе «не ночевали». «Рассмотренные или нерассмотренные, к обеду они сбрасывались на пол и убирались». Толстой часто покидал Петербург, предпочитая ему любимое имение в Рязанской губернии. Дела же он с легкостью оставлял своим ближайшим сотрудникам.
Внешний облик Толстого не соответствовал его репутации. Как вспоминал журналист И. И. Колышко, служивший в 1880-е гг. в МВД, «ведомство боялось Толстого как огня. Губернаторы трепетали перед заветной дверью, за которой благообразный старичок со слезящимися глазами и полинялым голосом учтиво и ласково приглашал их садиться. Толстой был живой иллюстрацией поговорки о мягкой постели и жестком сне».
Д. А. Толстой скончался в 1889 г. в Санкт-Петербурге. После его смерти А. А. Половцов записал в своем дневнике: «Толстой был действительно таким человеком, что никогда, даже в лета молодости, не возбуждал ни в ком сочувствия, симпатии, человеческого чувства. Это был человек жесткий, самолюбивый, холодный, весьма дюжинного ума и чрезвычайного упрямства, которое вследствие ничтожества современников Толстого с успехом заменяло в нем твердость характера. Это был типичный петербургский чиновник с некоторым лоском исторического образования. Своих собственных взглядов он не выработал; он заимствовал их от того или другого человека вследствие такого или иного стечения обстоятельств, но, раз усвоив их, никогда от них не отступал, хотя бы и чувствовал их ложность. Впрочем, чтобы сознать неправду, надо углубиться мыслью в ту или другую сферу мышления, а он этого никогда не делал просто потому, что ему было некогда это делать, он слишком был занят личными своими интересами карьеры, самолюбия, тщеславия. К тому же так поступать было проще. Усвоенное убеждение он оставлял без изменения, точно так же как однажды подписанную бумагу, хотя бы в ней и оказывались неправильности».