Во время коронации в 1856 г. Александр II назначил Толстого флигель-адъютантом, а затем, когда Толстой не захотел остаться в военной службе, егермейстером. В этом звании, не неся никакой службы, он оставался до самой смерти; только короткое время был членом комитета о раскольниках.
С середины 60-х годов его некогда богатырское здоровье — он разгибал подковы и свёртывал пальцами винтообразно зубцы вилок — пошатнулось. Жил он поэтому большей частью за границей, летом на разных курортах, зимою в Италии и Южной Франции, но подолгу живал также в своих русских имениях — Пустыньке (под Петербургом) и Красном Роге (Черниговской губернии), где он и умер 28 сентября 1875 г.
В личной жизни своей Толстой представляет редкий пример человека, который не только всячески уклонялся от шедших ему навстречу почестей, но ещё должен был выдерживать крайне тягостную для него борьбу с людьми, от души желавшими ему добра и предоставлявшими ему возможность выдвинуться и достигнуть видного положения. Толстой хотел быть «только» художником. Одно время Толстой колебался: ему показалось привлекательным быть при государе, как он выразился в письме к нему, «бесстрашным сказателем правды», но просто придворным Толстой не хотел быть ни в коем случае. В его переписке ясно отразилась удивительно благородная и чистая душа поэта, но из неё же видно, что изящная его личность была лишена силы и тревоги, мир сильных ощущений и мук сомнения был ему чужд. Это наложило отпечаток на всё его творчество.
Толстой начал писать и печатать очень рано. Уже в 1841 г., под псевдонимом Краснорогский, вышла его первая книга «Упырь». Толстой впоследствии не придавал ей никакого значения и не включал в собрания сочинений, лишь в 1900 г. её переиздал личный друг его семьи Владимир Соловьёв. Этот фантастический рассказ Белинский, к примеру, принял очень приветливо. В 1854 г. он выступил в «Современнике» с рядом стихотворений, сразу обративших на него внимание. Литературные связи его относятся ещё к 40-м годам. Он был хорошо знаком с Гоголем, Аксаковым, Анненковым, Некрасовым, Панаевым и особенно Тургеневым, который был освобождён от постигшей его в 1852 г. ссылки в деревню благодаря хлопотам Толстого. Примкнув ненадолго к кружку «Современника», Толстой принял участие в составлении цикла юмористических стихотворений, появившихся в «Современнике» 1854—1855 годов под известным псевдонимом Козьмы Пруткова. Юмористически-сатирические выходки Толстого против течений 60-х годов немало повлияли на дурное отношение к нему части критики. Видное место занимают юмористические пассажи и в цикле толстовских обработок былинных сюжетов.