Шуазель надеялся на поддержку короля и не делал попытки сближения с фавориткой, продолжая ее презирать, несмотря на то, что почти все люди, на которых он опирался при дворе, поспешили переметнуться к новой звезде. Так поступил и маршал де Мирепуа, друг и союзник Шуазеля, невзирая на свое прочное положение, он стал наставником мадам Дюбарри. За ним последовали герцогиня де Валентинуа, маркиза де Л’Опиталь, возлюбленная де Субиза, к тому времени утратившая репутацию, и принцесса де Монморанси.
По мере того как складывался и укреплялся двор графини, партия ее сторонников росла за счет перебежчиков из клана Шуазеля. Мопу, которого Шуазель сделал канцлером в надежде, что тот поможет ему потопить д’Эгийона, и который в действительности помышлял лишь о подрыве позиций парламента, бывшего верной опорой Шуазеля, также предложил мадам Дюбарри свои услуги. Когда в ответ на предложение Мопу Терре принял пост генерального контролера финансов, партия Дюбарри-д’Эгийона решила, что наступил подходящий момент дискредитировать Шуазеля. Предприятие все же выглядело сомнительным, ибо король, оправдывая свои действия желанием иметь возле себя новую даму де Ментенон, заверил Шуазеля в своем добром расположении, написав ему: «Вы хорошо ведете мои дела, я доволен вами». Но следовало учесть изменчивый характер Людовика XV. В наступлении на всемогущего министра мадам Дюбарри, совершенно не разбиравшаяся в политике и не желавшая познавать тайны этой неизвестной ей науки, являлась лишь инструментом в руках движимого ненавистью д’Эгийона и присоединившегося к нему Мопу. Но в этом деле она сыграла свою роль с полной самоотдачей, украсив ее милым щебетаньем, резвостью и шаловливостью.
Она не особенно заботилась, останется ли Шуазель министром или нет, но д’Эгийон и Мопу запугивали ее, заставляя тревожиться за свой покой и за свое место. Эти два человека руководствовались в поступках один – злобой, а другой – политическим расчетом. Д’Эгийон не мог простить парламенту и Шуазелю, которые после всех его хлопот в Бретани, где он был наместником, возбудили против него судебный процесс. Мопу придерживался такой концепции королевской власти, которая исключает наличие парламента, вечно оппозиционного и постоянно стремящегося к присвоению прав Короны. И руководивший действиями этого парламента Шуазель должен был теперь за это ответить. Д’Эгийон жаждал мести, в графине Дюбарри он обрел преданного соратника, всем сердцем разделявшего его цели. Были ли они любовниками? Современники в этом не сомневались. Герцог стал верной опорой фаворитки и был всегда готов подставить ей свое плечо. Мадам Дюбарри красивыми обещаниями сумела внушить партии противников Шуазеля дополнительные надежды. На свою сторону ей удалось привлечь принца де Конде, пообещав ему должность главнокомандующего. Короля осаждали со всех сторон, ведь до сих пор он занимал твердую позицию, но он заколебался, когда ему представили доводы в пользу неминуемой и скорой войны с Англией, если Шуазель сохранит свой пост. Король хотел мира и понимал, что Франция к войне не готова. В конце 1770 года, во время переговоров в Фолькленде, Англия в союзе с Испанией попытались втянуть Францию в войну. И не составило большого труда убедить Людовика XV в том, что если Шуазель останется министром иностранных дел, он не сможет уклониться от назревшего конфликта, а может быть, даже попытается еще больше его раздуть. Звезда министра закатилась, и 24 декабря король отправил Шуазеля в отставку, сослав в его владения в Шантлу.