В 1803 году Александр I назначил князя Адама попечителем виленского учебного округа. Это назначение имело, конечно, весьма важное значение для князя в связи с его польскими планами. Вскоре князь Адам был поставлен во главе министерства иностранных дел, вместо ушедшего на покой князя Воронцова. Чарторыжский откровенно указал императору на то, что он может направлять внешнюю политику России не иначе, как в согласии с интересами Польши, как он их понимает. Таким образом, Чарторыжский вёл свою линию открыто и начистоту.
Император Александр I, тем не менее, спокойно передал Чарторыжскому министерский портфель. Борьба с Наполеоном была уже решена в уме императора, и содействие Чарторыжского было ему очень важно, так как последний в это время как раз мечтал о том, что Польша может всего удобнее получить известные преимущества и выгоды именно под шум борьбы европейской коалиции с Наполеоном.
Но Александр при этом был далёк от того, чтобы поддаться влиянию Чарторыжского. Накануне борьбы с Наполеоном Александру нужно было заручиться сочувствием Польши, и потому он поставил поляка во главе русской дипломатии и ещё более подчеркнул свои симпатии к Польше демонстративным посещением Пулав — главной резиденции семьи Чарторыжских. И, однако, тотчас же вслед за тем Александр не менее демонстративно посетил прусского короля и выказал самое живое расположение к сближению с Пруссией, что совершенно уже не входило в планы Чарторыжского. Как бы то ни было, эпоха участия России в коалициях против Наполеона составила пору наиболее тесной близости Чарторыжского к русскому императору. Тильзитский мир резко нарушил эту близость.
В 1807 году Чарторыжский оставил пост министра иностранных дел, а в 1810 году навсегда покинул Петербург и сосредоточил свою деятельность исключительно на управлении виленским учебным округом. Однако Александр не упускал из виду князя Адама, ведь Александр никогда не смотрел на тильзитский договор с Наполеоном как на прочное соглашение. То была лишь временная передышка перед дальнейшей решительной борьбой, и, готовясь к этой борьбе, Александр отлично понимал, какую важную помощь может ещё оказать ему князь Адам по отношению к Польше. Польский вопрос представлял в это время одну из самых тяжёлых гирь на весах взаимных отношений России и Франции. Наполеон стал кумиром большей части польского общества. От него ждали возрождения Польши. В секретных переговорах с Наполеоном Александр усиленно настаивал, чтобы Наполеон обнародовал категорическое заявление о том, что Польша никогда не будет восстановлена. И в то же время Александр старался расположить поляков в свою пользу, давая им заманчивые обещания. Для этой-то последней цели ему и понадобился вновь князь Чарторыжский.