В меморандуме, составленном принцем примерно в это время и описывающем беседу, состоявшуюся между ним, королевой и премьер-министром, можно заметить удивительные проблески душевного состояния этих трех персонажей — озабоченность и раздражение лорда Джона, неистовую желчность Виктории и рациональную злобу Альберта. В какой-то момент разговора лорд Джон высказал мысль, что, по его мнению, министр иностранных дел не будет возражать против смены должности; лорд Пальмерстон, сказал он, не может не понимать, что потерял доверие королевы — не в личном, естественно, смысле, а в общественном. В ответ на это, записал принц, «королева прервала лорда Джона, возразив, что не доверяет Пальмерстону и в личном смысле тоже, но я отметил, что до сих пор мы относились к лорду Пальмерстону объективно и что его разногласия с королевой носят не личный, а политический характер — с чем королева тут же согласилась». После этого принц высказал опасение, что Кабинет может распасться и в результате лорд Пальмерстон получит шанс занять кресло премьер-министра. Но лорд Джон заверил, что «Пальмерстон слишком стар, чтобы предпринять такие шаги (перевалив уже за шестьдесят пять)». В итоге было решено, что пока сделать ничего нельзя, но следует соблюдать чрезвычайную секретность; и на том тайный совет завершился.
Наконец, в 1850 году наметились некоторые сдвиги. Появились признаки того, что обществу начала надоедать суета пальмерстоновской дипломатии; и когда в результате его поддержки британского подданного Дона Пасифико в конфликте с греческим правительством страна чуть было не оказалась на грани войны не только с Грецией, но и с Францией и, возможно, с Россией, над головой Пальмерстона стали сгущаться тяжелые тучи недоверия и недовольства и вот-вот была готова разразиться гроза. Меры против его деятельности были приняты в Палате Лордов подавляющим большинством голосов. Дело было лишь за Палатой Общин, где голосование против Пальмерстона тоже было вполне вероятным и окончательно определило бы судьбу министра. Пальмерстон встретил атаку с завидным хладнокровием и затем, в самый последний момент, нанес ответный удар. В более чем четырехчасовой речи, в которой с непревзойденным искусством и счастливой восторженностью смешались объяснения, нападки, аргументы, декламации, пустая болтовня и искрометное красноречие, он разбил противника наголову. Враг был повержен, и Пальмерстон уже в который раз стал героем дня. К тому же сама Атропос[27], казалось, была на его стороне. Сэр Роберт Пил упал с лошади и разбился насмерть. Это трагическое происшествие убрало с пути Пальмерстона наиболее опасного противника. Он считал себя — и был совершенно прав — самым популярным человеком во всей Англии, и когда лорд Джон попытался возобновить проект перевода его на другую должность, Пальмерстон и ухом не повел.