Екатерина II прямо не отказала фавориту, проект был составлен, но с ним к Алексею Григорьевичу императрица послала ярого противника самой идеи брака с Орловым канцлера Михаила Илларионовича Воронцова. История свидания канцлера и Разумовского была записана в 1843 г. министром народного просвещения графом С. С. Уваровым со слов своего тестя Алексея Кирилловича Разумовского — племянника тайного супруга Елизаветы, и опубликована в 1863 г. в Чтениях Общества Истории и Древностей. Важные источниковедческие комментарии на этот рассказ дал исследователь истории семейства Разумовских В. В. Васильчиков.
Итак, Воронцов отправился в 1763 г. в дом Разумовского на Покровке близ церкви Воскресенья в Барашах и застал Алексея Григорьевича, сидящим в креслах у камина с новым киевским изданием Священного Писания в руках. Показав графу проект указа, Воронцов попросил бумаги, подтверждающие факт венчания, для того чтобы императрица могла подписать документ. Несколько минут Алексей Григориевич молчал. Какие чувства боролись в этот момент в его душе? При жизни своей августейшей покровительницы, он дорого бы дал за такой указ, тогда на русском престоле оказались бы его потомки, а не голштинские принцы и принцессы. Теперь же ему, одинокому старику, доживающему в тишине свою жизнь, было все равно.
Граф подошел к комоду, достал ларец черного дерева, инкрустированный серебром и перламутром, долго рылся, отыскивая ключ, наконец открыл крышку, чем-то щелкнул, проверяя потайной ящик, и извлек оттуда сверток розового атласа. В свертке оказались пожелтевшие листы. Алексей Григорьевич, не давая их в руки Воронцову, медленно читал. Затем поцеловав их, граф повернулся к образам, перекрестился и, возвратясь к камину, положил бумаги в огонь. «Я не был ничем более как верным рабом ее величества… — произнес он, с трудом опускаясь в кресло, — Никогда не забывал я из какой доли и на какую степень возведен я десницею ее… Если бы было некогда то, о чем вы говорите со мною, то поверьте, граф, что я не имел бы суетности признать случай, помрачающий незабвенную память монархини, моей благодетельницы». От Разумовского Воронцов вернулся к Екатерине II и донес ей о случившемся. Императрица протянула канцлеру руку для поцелуя со словами: «Мы друг друга понимаем».
Документы были уничтожены, прецедента больше не существовало. Хорошо осведомленный через брата обо всем, что происходило во дворце, Алексей Григорьевич чутьем старого придворного понял, в какое трудное положение попала новая императрица и чего она от него ждет. Он пожертвовал самым дорогим, что у него оставалось — памятью о своей безвозвратно ушедшей молодости, сказочном счастье и горячо любимой женщине.