Но неприятно было, что очень уж скоро и новый король, и вся бурбонская семья, а за ними и придворные, и новые сановники стали обнаруживать признаки более нежели отрицательного отношения к моральным качествам Талейрана и, казалось, совсем не желали считать его главным автором реставрации старой династии и своим благодетелем. Герцог и герцогиня Ангулемские (то-есть племянник и племянница короля) обнаруживали даже нечто очень похожее на гадливость. Сам король был скептичен и насмешлив, умел (и хотел) говорить неприятности. Довольно резок бывал и брат короля, Карл д'Артуа, впоследствии Карл X.
Наконец, среди придворной аристократии фонды князя Талейрана тоже стояли не очень высоко. Эта аристократия состояла из старой, в значительной мере эмигрантской, части дворянства, вернувшейся с Бурбонами, и новой, наполеоновской, за которой остались все ее титулы, данные императором.
И те и другие тайно ненавидели и презирали Талейрана. Старые аристократы не прощали ему его религиозного и политического отступничества в начале революции, отнятия церковных имуществ, антипапской позиции в вопросе о присяге духовенства, всего его политического поведения в 1789–1792 годах. Возмущались его участием в деле герцога Энгиенского, его деятельной дипломатической помощью полиции в гонениях на аристократов-эмигрантов, ютившихся в чужих краях. С другой же стороны, наполеоновские герцоги, графы и маршалы гордились тем, что они, за немногими исключениями, присягну ли Бурбонам лишь после отречения императора и сделали это только по прямому разрешению отрекшегося Наполеона, а на Талейрана, Фуше, Мармона они смотрели, как на позорных изменников, предавших Наполеона, вонзивших кинжал ему в спину, как раз когда он боролся изо всех сил против всей Европы, отстаивая целость французской территории. Наконец, те и другие не только знали о свободном обращении Талейрана с казенными деньгами и о бесчисленных и непрерывных взятках, но и преувеличивали полученные им суммы. Они повторяли словцо, неизвестно кем пущенное и в начале 1815 года даже попавшее в печать (в газету «Le Nain jaune»): «Князь Талейран оттого так богат, что он всегда продавал всех тех, кто его покупал». Эта двуединая торговая операция, лежавшая в основе всех финансовых оборотов Талейрана в течение всего его земного странствия, очень усердно отмечалась не только в салонных разговорах за спиной заинтересованного лица, но и в прессе.
Тут впервые после революции, точнее после 1792 года, Талейран почувствовал все неудобства хотя бы такой ограниченной свободы печати, какая стала возможна в 1814 году при установлении конституционной хартии. Еще при Директории иной раз приходилось терпеть дерзости журналистов, но зато при Наполеоне, с 1799 года по 1814, не только о таких особах, как Талейран, но даже о поварах и лакеях таких сановников никто не осмелился бы ничего неодобрительного напечатать. Но в конце концов все эти колкости и неприятности князь Талейран мог до поры до времени игнорировать. Он был нужен, он был незаменим, и Бурбоны хотели его использовать полностью. Он снова шел в гору. Его назначили первым министром, с оставлением в его руках министерства иностранных дел. Наконец, осенью его послали в качестве представителя Франции на Венский конгресс. В биографии этого человека открылась новая страница, и притом такая, которая имеет огромный исторический интерес, еще больший, чем вся его предшествовавшая деятельность.