Граф Кутайсов не сразу достиг всех этих почестей, сопровождавшихся значительными подарками землёй и деньгами, которые, в конце концов, посыпались на него с всё увеличивавшейся быстротой. Он бы и не мог достичь их в такое короткое время, если бы императрица и Нелидова сохраняли своё влияние на императора. Эта невозможность или трудность для многих добиться успехов, пока продолжалось исключительное влияние императрицы и её подруги, были главной причиной испытанного ими удара. Другие честолюбцы присоединились к фавориту-лакею, чтобы руководить им и воспользоваться той, думаю я, магнетической силой, которую он умел проявлять над личностью своего господина.
Граф Растопчин был, как кажется, вдохновителем и душою заговора. Благодаря интриге, он был удалён от императора и заменён Нелидовым, племянником фрейлины. Растопчин был даже выслан в Москву, ибо Павел никогда не удерживался в границах умеренности, всегда преувеличивал значение всякого намёка, во всём спешил и заходил как можно дальше. Растопчин был не из тех, кто прощает подобные обиды: он хотел отомстить тем, кто был причиной его падения, и соединился с Кутайсовым. Надо было вырвать Павла из-под власти увлечения Нелидовой и поссорить его с женой. Для этого императору дали понять, что он состоит под опекой, что эти две женщины управляют страной от его имени, что в этом все убеждены. Ему представили особу моложе и красивее Нелидовой и уверили, что она не будет иметь претензий на то, чтобы им править. Всё это увенчалось удачей.
Павел влюбился в дочь Лопухина, бывшего московским полицеймейстером при Екатерине. Лопухин получил титул князя и голубую ленту за то, что не препятствовал видам императора на его дочь. Растопчин был возвращён и получил пост министра иностранных дел. Все должностные лица, принадлежавшие к партии императрицы, князья Куракины и их родственники, со старым князем Репниным во главе, потеряли свои места и были высланы в Москву. Крушение партии было полное. Стоило императору заподозрить, что кто-нибудь пользуется протекцией или благоволением императрицы, и такой человек терял должности и был удаляем от двора.
С той поры Павла стали преследовать тысячи подозрений. Ему казалось, что его сыновья недостаточно ему преданы, что его жена желает царствовать вместо него. Слишком хорошо удалось внушить ему недоверие к императрице и к его старым слугам. С этого времени началась для всех, кто был близок ко двору, жизнь, полная страха, вечной неуверенности. Над каждым тяготела возможность быть высланным или подвергнуться оскорбительным выговорам в присутствии всего двора, причём император обыкновенно возлагал исполнение этого неприятного поручения на маршала двора.