После нескольких радостных дней отец вдруг становился задумчивым, даже мрачным, и это длилось днями. В эти дни он формулировал жизнь в какую-то своеобразную, фаталистическую и безотрадную, систему; эти настроения он скрывал от чужих людей, при которых он бессознательно прикрывался веселым и простецким добродушием, при них он бывал таким, каким внешне столь удачно изобразил его граф Лев Николаевич Толстой в лице Богатырева. Отец предан был государю Александру Александровичу и его семье, но с великими князьями обходился сдержанно, хотя и почтительно. Он, бывало, называл их «высочайшими шерамыжниками», повторяя данное им по какому-то случаю наименование покойным государем. Великие князья его тоже недолюбливали, и мне рассказывали, как однажды за игрою в карты с братьями государя отец заспорил с ними и, будучи очень вспыльчив, ударил кулаком по столу (он был, между прочим, очень силен); тогда один из великих князей, кажет ся, Павел Александрович, заметил Сергию Александровичу: «Оставь, разве ты не знаешь Олсуфьева!» Впрочем, отец был очень отходчив, и гнев его так же быстро проходил, как и возникал. В общем же он был крайне снисходителен, в особенности к низшим себя, обладая в этом отношении чисто дворянскою чертою, в отличие от интеллигенции, которой, поглощенной борьбою за существование, редко свойственно бывает это чувство.
Мой отец легче сближался с людьми скромными и стоящими ниже его по положению; раз как-то он сказал мне: «Не умею я с министрами и не знаю о чем с ними говорить». С буецкими крестьянами у него были какие-то торжественные отношения, построенные на взаимном доверии и уважении. Он говорил с ними громко, просто, ясно и убедительно и относился к ним как младшим товарищам по какому-то им одним известному, важному и общему делу. Свои крестьяне его называли «Ваше сиятельство» или «Ваше графское сиятельство». С годами отец становился все мягче и терпимее. Он чаще хаживал в церковь и подолгу читал Писание, в особенности ветхозаветное. Трудно сказать, насколько он был православен, ибо в значительной доле рационалистично относился к Церкви, но помню, как обрадован он был тем, что С<оня>, будучи невестой, причащалась Святых Тайн; взяв письмо ее об этом, весь растроганный (это было для него редко), он понес его моей матери, которая, больная, тогда уже не вставала. Раньше, наоборот, он склонен был считать, что Церковь «pour le peuple» [ «для народа»], которому «нечем ее заменить». Мой отец умер весною 907 года в Аббации; он долго болел сердечною болезнью и в тяжелые минуты страдания говорил, что надеется на милость Божию. Говоря о смерти, он высказывал, что ему даже интересно видеть потустороннее. Он умер без причастия, в чем мы должны отчасти винить себя.