Наконец, положение графа Воронцова в Лондоне ухудшилось вследствие поднятия польского вопроса по смерти Августа III. В Петербурге хотели, чтоб Англия энергически содействовала видам России в Польше; в Лондоне были очень далеки от сколько-нибудь энергических мер в таком деле, в котором интересы Англии вовсе не затрогивались, следовательно, все представления русского министра должны были оставаться безуспешными. Доносить императрице о своих неуспехах было очень неприятно для Воронцова, особенно когда теперь иностранными делами стал прямо заведовать человек, сильно к нему нерасположенный. Панин выражал это нерасположение в заметках, которые он делал на донесениях Воронцова. Так, в одном из своих донесений Воронцов писал, что все его представления со времени смерти польского короля не имели большого успеха у английского министерства. Панин заметил: «Можно было бы загодя биться об заклад, что эти представления останутся без успеха, потому что они были необдуманны и дурно ведены». Там, где Воронцов употребил обычную извинительную фразу, что при всей ревности к службе императрицы у него недостает надлежащего знания и искусства, Панин заметил: «Ничто не может быть справедливее этого». Воронцов извещал, что он ездил в деревню к бывшему министру и теперь главе оппозиции знаменитому Питту, чтоб поговорить с ним о делах, и особенно выведать его мысли о Польше, о том, чего можно ожидать от Англии в вопросе, долженствующем интересовать все великие державы Европы. Питт, по словам Воронцова, отвечал ему с своим обычным красноречием, но осторожно. Панин заметил: «Бьюсь об заклад, что он говорил с ним, как говорят с мальчиком, не заслуживающим уважения». Впрочем, смысл слов Питта был тот, что так как по всему видно, что при королевских выборах в Польше прусский король будет действовать заодно с Россиею, то, по его мнению, Англия должна с жаром поддерживать требования этих двух государств, которых дружба для нее очень дорога; но что трудно определить с точностию, в чем должно состоять содействие Англии, ибо оно зависит от множества обстоятельств, которые не могут быть ему известны как человеку, уже два года находящемуся вне дел.
Воронцов писал, что один общий приятель Питту и ему уверял его, что Питт выражал крайнее удивление, почему настоящее министерство ничего не делает по польскому вопросу, почему оно после получения известия о смерти Августа III не отправило немедленно курьера в Петербург с предложением своих услуг и с уверением, что если Франция вмешается в дело, то Англия не только употребит все средства воспрепятствовать этой державе в исполнении ее намерений, но постарается совершенно уничтожить их. Питт прибавил, что если министерство будет и вперед вести себя так в польском деле, то он выскажет свое мнение в палате общин, выразит свое удивление, что лондонский двор обнаруживает такое равнодушие в таком важном деле. На это Панин заметил: «Он обманывает, он лжет. Никогда человек со смыслом не скажет, что известный двор должен отправить курьера к другому двору с предложением услуг. Дворы предлагают друг другу добрые услуги только в случае несчастия; здесь это великодушие, тогда как в другом случае это низость и подлость».