Иван Петрович знал, что светлейший князь Горчаков, встреча с которым была целью его поездки, с давних пор облюбовал этот курорт. Он многое знал о князе Горчакове, чувствовал к нему близость, которая может быть только к родному человеку или родственной душе, знал он про него не только открытое, общедоступное, о чем знала и говорила вся Россия, но и много тайного, сокровенного, о чем широкой России было неведомо. Хитрово был лично знаком с ним и в последний раз встречался в Москве, накануне торжеств в 1880 году по поводу открытия памятника первому частному лицу в России, Александру Пушкину, его великому однокашнику.
Горчаков, совершенно отойдя от дел после печального для России и для него самого Берлинского конгресса, фактически передал пост министра иностранных дел Гирсу, женатому на родной племяннице светлейшего князя, дочери сестры его княгини Елены Михайловны Кантакузен, а в марте 1882 года, уже при Александре III, по личной просьбе он получил полную отставку, но с сохранением звания государственного канцлера и члена Государственного совета, и удалился для лечения за границу. С тех пор Горчаков жил на покое то в Ницце, то в Баден-Бадене.
После Берлинского конгресса покойный император Александр II заметно охладел к нему и мало советовался по государственным вопросам. Канцлер же продолжал цепляться за свое место, хотя давно уже не имел прежнего влияния, и если царь иногда и слушал его, то делал это скорее из уважения к его сединам. Горчаков, достигнувший в своей жизни высшего чина государства Российского и удостоенный высшего титула, возможного для особы не царского рода, никак не хотел спуститься с небес на землю. Он совершал оплошности, иногда по старческой упрямости, не желая никого слушать, а иногда просто по дряхлости и забывчивости. Так, на злополучном Берлинском конгрессе, где он все больше болел, пропуская заседания, и где всем заправлял бывший шеф жандармов, теперешний посол России в Лондоне граф Петр Андреевич Шувалов, который совершенно не брал в расчет престарелого князя, тот однажды восстал в прямом и переносном смысле слова, воспрянул ото сна, и прибыл на очередное заседание конгресса, где его совсем не ждали. Как падишаха, лакеи внесли его в зал заседания прямо на кресле. Испытывая гордость от своего подвига, он от своей старческой рассеянности все-таки произвел, как говорили тогда, очередное свое безобразие.
Небрежно лорнируя соседей по столу, любезно раскланиваясь со всеми, он извлек из портфеля, который ему подали, полученную им из военного министерства карту малоазиатского театра войны с показанием на ней границ прежних и по Сан-Стефанскому договору, а также, что было самое прискорбное, с пометами, означающими пределы возможных уступок, на которые готова пойти Россия. Неизвестно, для чего князь захватил эту карту на заседание, поскольку рассуждать на нем о Малой Азии даже не предполагалось. Князь близоруко стал рассматривать карту, составляющую, разумеется, большой секрет, а сидевший рядом с ним англичанин Одо-Россель заинтересованно ее изучал. Любопытные взгляды англичанина не укрылись от всевидящего жандармского ока графа Петра Шувалова, которого в России прозвали Петром IV или вторым Аракчеевым. Он подскочил к старику и, нимало не стесняясь, можно сказать, почти грубо отобрал карту у престарелого канцлера. Князь поморгал глазами, кажется, ничего не понял, заволновался о том, как он выглядит в сей ситуации, но быстро успокоился, когда по знаку Шувалова ему подали другие карты, Балканского полуострова, купленные в обыкновенном магазине на Unter den Linden. Судя по тому, как он слепо в них тыкался, государственный канцлер ничего не понимал в них. Однако эта замена уже не спасла положения, и на последующих переговорах лорд Биконсфильд выставил карту с пределами возможных уступок России, уже как условия Англии. «Тут измена! — кричал князь Горчаков. — К ним попала карта нашего генерального штаба!» Шувалов скрипел зубами и клял князя на чем свет стоит.