«Князь вовсе не был злодеем, никого не засекал, не закладывал жены в стены, не ел за четверых, не имел сералей, не был озабочен поркой людей, охотой и распутством, а, напротив, всего этого терпеть не мог, и был умный, образованный и вполне порядочный человек». Вот такая безупречная характеристика была дана князю Волконскому его внуком. Однако идеальный образ деда был несколько скомпрометирован его сожительством с горничной Александрой, от которой он имел детей, отсылаемых в воспитательный дом.
Но это не помешало восторженному отношению Толстого к своему предку, наделенному необычайно сильным характером, что особенно ярко проявилось в эпизоде с приездом Александра I, пожелавшего навестить князя в Ясной Поляне. По дороге император заснул и находился уже далеко от Ясной Поляны, забыв про обещание навестить Волконского. Князь запряг лошадей, догнал венценосца и доставил его в Ясную Поляну.
Каждый поместный владелец умел, как известно, «на десятине снять экстракт Вселенной всей». Князь Волконский свой «экстракт Вселенной» создал на территории много больше десятины. Его строительная концепция была продумана детально и со знанием дела. Свою усадьбу по всему периметру он окружил канавой, шутливо названной «ах-ах». На самом выигрышном месте он построил ансамбль, состоявший из трехэтажного господского дома и двух одинаковых флигелей. «Как все, что строил дед, было изящно и не пошло, и твердо, прочно, капитально», — писал Толстой. С двух сторон усадьбу окаймляли березовые аллеи. Белизну домов подчеркивали зеленые лужайки, чудную картину завершал «аглицкий» сад. Не забыл князь и про хозяйственные постройки, и ковровую фабрику. Строительство осуществлялось им размеренно и поэтапно. Ансамбль получился «прочным и изящным», и привлекал к себе внимание путешественников, заинтригованных яснополянским «проспектом», «столбами у ворот». Людская, по мнению Толстого, была, как и многие архитектурные творения Волконского, построена с большим художественным вкусом и «делалась несомненно итальянцем». Прямой «Прешпект» вполне соответствовал облику деда писателя, с его высоко поднятой головой, темными глазами и густыми широкими бровями.
Усадебную красоту князь не мог представить без главного поэтического образа — воды, дарующей ощущение радости. Он расширил Большой пруд, устроил новый каскад из прудов, тем самым выделив их в контексте яснополянского ландшафта. Особенно прелестными были пруды в полнолуние, когда в них отражалась таинственная луна. Как известно, «луна и вода» завораживали Толстого, отрывая от земли и наполняя силой воображения и любви. Своими озарениями он также был обязан тонкому эстетическому вкусу своего деда.