Слухи о том, что Наполеона не взяли в плен по вине Чичагова, достигли Петербурга. А там уже постарались их раздуть недоброжелатели адмирала и с их подачи, как бы сказали сегодня, падкие на сенсации СМИ. Тогда в почёте были литераторы, причём такие, как поэт Гавриил Державин и баснописец Иван Крылов, пользовавшиеся большим авторитетом в обществе. Они-то, не разобравшись в сути вопроса, и стали, мягко говоря, зачинщиками клеветы в литературе на имя адмирала. Басню И. Крылова «Щука и Кот» мы знаем со школьных времён, как порочащую адмирала Чичагова. От мнения таких «авторитетов» трудно было отмыться. Слухи обрастали новыми невероятными подробностями, Чичагова даже обвиняли в измене. Имя достойного героя войны и патриота было опорочено необдуманными высказываниями не только перед Императором, но и народом. А ведь основная заслуга разгрома остатков армии Наполеона на Березине в ноябре 1812 г. относится к 3-й Западной армии под командованием П.В. Чичагова, ведь недаром французы вспоминают Чичагова не реже, чем Кутузова.
После успешных действий у Борисова армия Чичагова овладела Вильно, от которого Чичагов преподнёс ключи Кутузову. За боевые действия у Борисова Император Александр I лично вручил Чичагову орден Святой Анны 2-й степени. Но Вильно сыграло и роковую роль в судьбе Павла Васильевича.
Его армия продолжала успешно идти на запад, участвовала во взятии Кёнигсберга и осадила крепость Торн под Данцигом. Но Чичагов, будучи личностью, не хотевшей оправдываться до унижений, всё-таки не выдержал несправедливых упрёков и оскорблений, распространяемых в его адрес, испросил разрешения у Александра I сдать армию Барклаю де Толли, а сам уехал за границу к своей младшей дочери Екатерине, в замужестве графине Дю Бузе.
Александр I не верил в виновность Чичагова и даже в бытность того за границей не исключал его из списков членов Государственного Совета. Находясь за границей, Павел Васильевич работал над воспоминаниями («Записками») о своей службе трём государям: Екатерине Великой, Павлу I и Александру I. Издать их сам не успел. В 1834 г. он полностью ослеп. Скончался Чичагов 20 августа 1849 г. в Париже и похоронен в своём поместье.
«Записки» Павел Васильевич оставил дочери Екатерине Павловне. Она, понимая их историческую ценность и питая надежду на восстановление доброго имени отца и его реабилитацию перед историей, готовила их к печати. Но рукопись попала в руки нечистоплотного кузена её мужа графа Дю Бузе, который предал им негативное содержание и опубликовал в Париже. Разошедшиеся по всей Европе публикации Дю Бузе и сочинения неразобравшихся в сути дела наших литераторов до сих пор являются основанием для всякого рода измышлений в адрес адмирала П.В. Чичагова (1767-1849 гг.). За два минувших века ложь прижилась в энциклопедиях, художественной литературе и учебниках истории. Современным исследователям легче сослаться на предшественников, чем копаться в грудах архивных документов. Опорочить человека легко, гораздо труднее восстановить его честное имя.