Опекуном над малолетними наследниками и их имуществом был назначен владелец Смелы, муж племянницы Екатерины Николаевны Самойловой, граф Бобринский. Видимо, он уделял мало внимания Каменке, т. к., по словам моего деда, в дни его детства и юности, там полновластно распоряжались (21) управляющие, не только не соблюдавшие интересов владельцев, но форменным образом расхищавшие имение. Почему-то во время их владычества были разобраны до основания огромный каменский дом и флигель с колоннами в левой части парка, в котором, лежа на бильярде, любил писать Пушкин. До разорения главного дома на его террасах, где когда-то собиралось аристократическое общество, управляющие устраивали пиршества с соседями. Лилось остававшееся еще в погребах шампанское, которым поили даже лошадей, а хор крепостных пел малороссийские песни.
В результате такого управления каменское хозяйство пришло в полное расстройство и его молодым хозяевам грозило разорение. Их спасли испытанные ими в Петербурге неудачи. Окончив Школу Гвардейских Подпрапорщиков, старший из них, Петр, вышел офицером в Конную Гвардию, а младший, Николай, - в Преображенский полк. Однако, оба они недолго оставались на военной службе. Первому пришлось ее покинуть из-за недопустимых шалостей, а второму - из-за резкости, допущенной по отношению к нему наследником престола, будущим императором Александром II. Когда Николаю I было доложено, что корнет Конной Гвардии, Петр Давыдов, проскакал на паре с пристяжной по Невскому Проспекту от Адмиралтейства до Александро-Невской Лавры, а затем выехал верхом в лагере на переднюю линейку, в голом виде, он только рассмеялся и сказал: "Пусть поедет проведать отца в Сибири". Наказание было легким, потому что дед отправлялся в Красноярск совершенно свободно и мог вернуться оттуда, когда ему заблагорассудится. Да и для ссыльного отца было большой радостью увидеть сына. Так мягко поступил с сыном декабриста прославленный своей строгостью Николай I. Совершенно иначе обошелся с дядей Николаем наследник Александр Николаевич, впоследствии даровавший амнистию декабристам. На параде Преображенского Полка, который он принимал, он крикнул сделавшему какую-то ошибку дяде: "Подпоручик Давыдов, вы всегда и все врете", - после чего дяде не оставалось ничего другого, как подать в отставку.
Пробыв в Сибири не более года, мой дед вернулся женатым на дочери декабриста кн. С. П. Трубецкого, красавице (22) Елизавете, и поселился с ней в ее имении Саблы, в Крыму, а дядя Николай отправился в Каменку заниматься хозяйством. Это и спасло ее.