Даже если самой даме нежные признания и были приятны, она не могла рисковать поддержкой Орловых. Тем более что последние, по-видимому, что-то заподозрили. Тогда Екатерина предпочла удалить Потемкина от двора. У нее не было причин обижать проверенных сторонников, она продолжала любить Григория Григорьевича, а использовать таланты умного сотрудника можно было и не вовлекая Потемкина в узкий круг малых дворцовых собраний.
Поездка в Швецию была обычной курьерской миссией. Определить ее время довольно сложно. По тексту Самойлова можно догадаться, что речь идет о 1764 годе. Энгель-гардт же утверждал, что Потемкин побывал за морем еще в 1762 году, направленный в Стокгольм с сообщением о восшествии на престол Екатерины II87. Последнее кажется менее вероятным из-за сопутствующих делу обстоятельств — работа «за обер-прокурорским столом», приятное времяпрепровождение в беседах с императрицей, возрастающая милость, а потом резкое охлаждение характерны для 1763–1764 годов, периода подготовки секуляризации, когда Потемкин действительно часто бывал при дворе.
Следовало бы предположить, что наученный горьким опытом молодой человек станет держать язык за зубами. Ничуть не бывало. Один из анекдотов гласит, что в Стокгольме Потемкин вновь отличился. Когда участников русского посольства повели представляться к шведскому двору, один из тамошних вельмож показал им зал, где висели старые штандарты. «Вот знамена, которые наши предки взяли у ваших под Нарвой», — гордо бросил он. На что Потемкин немедленно отозвался: «А наши отобрали у ваших еще больше земель и городов, какими и посейчас владеем». Много лет спустя, уже после смерти князя, Екатерина II писала барону М. Гримму о Потемкине: «Никогда человек не обладал в такой степени, как он, даром остроумия и умением сказать словцо кстати»88.
Но в 1764 году этого очевидного достоинства было мало, чтобы удержаться при дворе, а тем более завоевать сердце императрицы. Вернувшись в Петербург, Потемкин, по словам Самойлова, «не имел более у двора той приятности, какой пользовался до отъезда, но, однако ж, всегда был уважаем». За Григорием Александровичем сохранилась должность в Синоде, он регулярно участвовал в заседаниях этого органа, а сверх того продолжал службу в Конной гвардии.
19 апреля 1765 года Потемкин был произведен в поручики, тогда же он стал казначеем полка и наблюдал за шитьем новых мундиров. Вероятно, именно этот опыт послужил первым толчком для его размышлений о неудобстве солдатской формы. Через много лет, осуществляя военную реформу, Григорий Александрович много внимания уделит созданию новой формы, достоинства которой отмечали даже недоброжелатели князя. В июне 1766 года Потемкин получил командование 9-й ротой, а в следующем, 1767 году был с двумя ротами направлен в Москву, где открывалась работа Уложенной комиссии89.