Граф Шуазель был небольшого роста, широк в плечах, с приятными жестами и огромными черными бровями, торчащими на лбу, как конский волос из лопнувшего тюфяка; его маленький нос напоминал клюв попугая; его взгляд казался слишком обдуманным, а лицо было чересчур разгоряченно; его черты выдавали более хитрость, чем ум, а под его размашистыми и простыми манерами скрывалась некоторая неловкость. На груди ни звезды, ни ленты, а лишь маленький крестик св. Людовика в бутоньерке. Всего этого было достаточно для его осуждения и падения с самого порога. Так как Шуазель уже несколько лет тому назад выехал из Франции, то этот главный предмет для разговоров того времени оказался мало интересным в его устах. Он, между прочим, рассказывал, что Отэнский епископ Таллейран, его близкий друг и товарищ детства, не признает долга в четыреста тысяч франков, которые он ему отдал на хранение; это обстоятельство показалось довольно пикантным. Но на следующий день он опять об этом заговорил и это уже показалось пошлым. В обществе Шуазелю столь же мало повезло, как и при Дворе. Смешная страсть к одной великосветской кокетке окончательно лишила его симпатии. Её Величество, обещавшая ему место президента Академии Наук, как только княгиня Дашкова выйдет в отставку, стала увертываться от обещания, отказывая Дашковой в отставке, и ограничилась тем, что велела купить у Шуазеля его серебряный сервиз, представлявший значительную ценность. Наконец, граф Эстергази, поверенный французских принцев, обладавший весьма твердым положением и пользовавшийся, вопреки данным ему инструкциям, своим влиянием для того, чтобы топить тех из французских подданных, которые могли бы его затмить, нашел Шуазеля достойным предметом для своих интриг и окончательно погубил его в глазах императрицы. Вот доказательство тому: однажды вечером, когда я стал утверждать, что нельзя более приятно и поучительно толковать о всём, касающемся искусств, чем это делает Шуазель — что была сущая правда — императрица обошлась со мною довольно круто, посоветовав мне не решать вопросов, которых я не понимаю.
Некоторые лица, из чувства ли справедливости, или из расчета, старались, в разное время, восстановить его репутацию. Это попробовал между прочим сделать граф Марков, но просьбе своей возлюбленной г-жи Гюс, но несмотря на его влияние у императрицы, всё было тщетно, и Шуазель мог попасть ко Двору не иначе, как в толпе остальных царедворцев. Эта опала, по-видимому сильно огорчавшая его, при перемене царствования сама собою поставила его в ряды почетных жертв предшествовавшего режима. Павел I допустил его в свою интимную компанию, назначил его президентом Академии художеств, поручил и ему знаменитую Варшавскую библиотеку и, что лучше всего этого, подарил ему поместье в Самогитии, дающее 50 000 руб. дохода, благодаря чему он стал гораздо богаче, чем он когда-либо был, так как всё, что он раньше имел, принадлежало не ему, а его жене. Но легкость, с которой он попадал под влияние первой встречной женщины, оказавшей снисхождение к его безобразной внешности, затем некоторые ростовщические дела, скомпрометировавшие его имя, а больше всего — ненависть новых министров к эмигрантам, низвели его скоро до худшего состояния, чем он находился при смерти Екатерины. О нём еще раз вспомнили на один момент, когда было решено поставить Суворову памятник. Его пригласили, спросили его совета и он мог подумать, что входит опять в милость; но 21 января 1800 г. он был выслан из Петербурга за то, что обедал у графа Кобенцля, австрийского посла, которому тогда было запрещено появляться при Дворе, а, может быть, и за то, что он разговаривал с Дюмурье, относительно которого Павел еще сам не знал, как ему быть.