В конце 1797 года порывистость и странность мероприятий императора Павла, волновавших жизнь дворца и всего двора, сменились как будто большим спокойствием, которое, казалось, обещало продержаться некоторое время.
Император Павел, будучи великим князем, во время своего пребывания в Павловске и в Гатчине был влюблён в Нелидову, фрейлину великой княгини, его жены. Это чувство, совершенно платоническое, не прекратилось и после его восшествия на престол. Нелидова, с её незаурядным умом и добрым сердцем, в конце концов, овладела любовью и доверием императрицы Марии, тем более, что в наружности этой девицы не было ничего, что могло бы тревожить императрицу, которая отличалась высоким ростом, хорошим цветом лица и прекрасной наружностью, тогда как её предполагаемая соперница была лишена и видной фигуры, и приятного цвета лица, и красивой физиономии. Вся её привлекательность состояла в смеющемся взгляде и бойкой речи. Эти две женщины протянули друг другу руки, и сошлись во всём. Результатом этого было уменьшение неожиданных перемен и беспорядка в поведении и в поступках императора, большая осмотрительность при выборе им лиц, большее благоразумие, последовательность и устойчивость в политике, чего он ранее не проявлял. К несчастью, император Павел недолго подчинялся этому благотворному влиянию.
По возвращении с коронации двор поселился в Гатчине, где император Павел любил проводить осень. Ещё грустнее казались там осенние дни, вообще столь унылые в России, когда небо вечно покрыто тучами, солнце едва показывается в течение трёх месяцев, беспрерывно идёт дождь, и холод чувствуется острее, пронзительнее и ещё неприятнее, чем зимой. Дружба и необычное доверие, выказываемое нам великим князем Александром, и короткость, которую разрешали нам по отношению к себе оба брата, вознаграждали нас вполне за скуку и грустное пребывание в Гатчине и не позволяли нам жаловаться.
Я помню, что мне часто приходилось вести с великим князем Константином очень запальчивые споры, в которых я не уступал ему ни в словах, ни в жестах до такой степени, что однажды мы даже подрались и вместе упали наземь. Я думаю, что именно эти воспоминания побуждали великого князя постоянно до известной степени щадить меня в то время, когда он всесильно господствовал в Польше и был очень раздражён против меня. То были для него воспоминания школьных лет, какие бывают у всякого, и они-то служили мне защитой от более тяжёлых проявлений его гнева.
Как я уже упоминал, великий князь Константин из подражания своему старшему брату хотел привязать к себе моего брата. У них установились отношения, похожие на мою близость к Александру, но положение моего брата было гораздо менее приятно, нежели моё, по причине невыносимого характера Константина; тем не менее, благодаря этому, мы получали возможность всегда быть вместе.