Пока Василий Львович находился в ссылке, Каменка, некогда отличное имение, пришла в упадок. Сын Василия Львовича Николай, служивший офицером в Преображенском полку, не мог уделять имению должного внимания. Но однажды он собрался в отпуск навестить свои владения и решил там остаться. В течение нескольких лет он поднял хозяйство, и оно стало приносить изрядный доход, позволивший Николаю Васильевичу содержать не только самого себя, но и семью отца, жившего в Красноярске. Младший брат Николая Лев Васильевич стал управляющим каменских имений и проявил недюжинные способности в организации всего хозяйства. Ему не в меньшей, если не в большей степени, чем старшему брату, принадлежала заслуга в восстановлении поместья отца-декабриста. Сам Василий Львович одного дня не дожил до амнистии 1855 года и больше так и не увидел свою родную Каменку.
Петр Ильич Чайковский впервые приехал в Каменку в 1865 году. К этому времени, как описывает Модест Ильич Чайковский, никакой особенной красоты и поэзии в обстановке каменских владений не осталось. Но, несмотря на это, Каменка произвела на Петра Ильича чарующее впечатление. Все каменские обитатели, часть из которых он уже знал по петербургским встречам с 1863 года, ему понравились. Даже Николай Васильевич, которого ему описывали как огрубевшего в деревенской глуши дикаря, оказался не только вполне сносным, но и утонченным, образованным, начитанным и приветливым человеком. Сильный, красивый и свежий, он был симпатичен Петру Ильичу, вообще любившему здоровую помещичью среду. Николай Васильевич, избалованный своим одиночеством и положением старшего, которому все были должны беспрекословно подчиняться, был нетерпим к чужим мнениям, властен, чрезвычайно консервативен, но тем не менее нисколько не покоробил чувствительного Петра Ильича. Напротив, Давыдов приятно поразил его и даже в чем-то повлиял на склад его убеждений. Модест Ильич объясняет эту странную терпимость к весьма нетипичному для Петра Ильича герою тем, что Петр Ильич не имел твердых политических убеждений. Будучи занят своими делами, он был равнодушен к политике и общественной суете, а потому его взгляды менялись сообразно его симпатиям к главным лидерам господствующих мнений. Должно быть, Модест Ильич был прав, но скорее лишь в первой части, т. е. в том, что Петр Ильич был гораздо больше увлечен своими непосредственными занятиями, нежели политикой. Что же касается интереса к общественно-политической жизни, то из его переписки с Надеждой Филаретовной видно, что, хотя убеждения его были лишь слегка тронуты либерализмом и в зрелом возрасте стояли ближе к консервативным, он не только не был равнодушным к происходящим в мире и в России событиям, но много читал обо всем этом и не стеснялся высказывать своих мнений весьма самобытного характера.