Жизнь большой семьи, возглавляемой Николаем Ильичом, протекала, несмотря на прагматичные установки, на широкую ногу. У отца писателя было три камердинера, свой шталмейстер. У бабушки была личная прислуга, слепой сказочник, купленный для нее когда- то мужем. Также при доме находились старый официант Тихон, вязавший чулки, дворецкие, камердинеры. Детям прививалось, что они будущие владельцы нескольких сотен крепостных душ.
Семья Толстых жила уединенно. Изредка принимали только близких, доверенных и статусных людей. Если
же визитер оказывался не в достаточном «ранге», ему попросту говорили, что хозяина дома нет, что он на охоте. Об этих тонкостях повседневной жизни графа поведала в своих воспоминаниях Ю. М. Огарева, прелестная соседка, проживавшая в Телятинках, расположенных в трех верстах от Ясной Поляны. У близких Николая Ильича противоречивые мнения об этой замужней женщине, матери четверых детей. Одни находили Огареву просвещенной, начитанной, интересной собеседницей. Другие считали ее легкомысленной особой. Огарева полюбила графа с того момента, как он появился в Ясной Поляне. По ее словам, возникшее между ними чувство оказалось взаимным. Брак с Марией Николаевной был во многом обусловлен разумным расчетом. Сердце же жаждало иного. Общение с Жюли Огаревой пересекалось с его семейной размеренной жизнью. О несовместимости в браке Наташи Ростовой и князя Андрея, Николая Ильича и Марии Николаевны писал автор «Войны и мира». Возможно, ему удалось угадать в совместной родительской жизни рассудочность эндогамного брака. Юлия Огарева сумела «накалить» ситуацию, но не «взорвать» ее. После смерти Марии Николаевны отношение Николая Ильича к соседке стало более нежным. Николай Толстой признался в своей горячей, бескорыстной любви к ней, которая воспламеняла и возвышала его душу. Они совершали совместные уединенные прогулки, обменивались впечатлениями о «Новой Элоизе», читали любовные стихи Корнеля, ездили в офицерское собрание на маскарад. Огарева подробно описывает ревность своего кавалера к ней, свою силу влияния на него, вспоминает о его желаниях помочь ей в трудную минуту. Когда она не смогла найти для своего старшего сына московского учителя, граф предложил ему перебраться в Ясную Поляну, чтобы вместе с его собственными детьми тот мог обучаться у немца. Он посвящал Огареву во все свои проблемы, дорожил ее советами, например, по поводу выкупа родового имения Никольское-Вяземское. Отец писателя будто бы высказывал ей свои опасения, что его родные сестры, Полина и Алина, ничего не унаследовавшие от родителей, будут завидовать его покупке.