Но все в этом мире когда-нибудь заканчивается. Закончилась и эта история любви: прожив вместе почти 20 лет, супруги расстались по инициативе Елизаветы, у которой появился новый фаворит — И. И. Шувалов. Без каких-либо ссор и показных обид, Разумовский переехал в Аничков дворец и зажил столь любимой ему жизнью добродушного и ленивого барина. Однако нежные чувства к Елизавете он питал до конца своих дней, и о силе этих чувств лучше любых эпитетов говорит история, произошедшая много лет спустя, уже во времена царствования Екатерины II.
Однажды к пожилому отставному вельможе явился генерал-прокурор Сената А. А. Вяземский и именем государыни потребовал у Разумовского подтвердить или опровергнуть факт заключения брака с Елизаветой. Дело в том, что тогдашний фаворит Екатерины Григорий Орлов стремился под венец с государыней, но при всем своем фаворе не мог добиться желаемого, что, впрочем, вполне понятно, ведь отношения отношениями, но венчание — это официальный брак и официальный статус мужа императрицы для Орлова, дававший ему определенные шансы в будущем самому взойти на трон. Да и общество не было тогда столь либеральным, чтобы благожелательно отнестись к браку императрицы с ее подданным: в этом смысле брак Елизаветы Петровны с Разумовским был исключением, да и то негласным. Потому этот прецедент и был так важен для честолюбивых планов Орлова. Но выслушав посланника императрицы, Алексей Григорьевич подошел к ларцу, достал оттуда венчальную грамоту, дал прочитать ее гостю и… бросил документ в горящий камин. Конечно, в этом поступке была и мудрость многоопытного царедворца, ведь Разумовский сразу понял: если самодержавная государыня, которая вправе делать все, что ей заблагорассудится, не идет под венец с Орловым, а «ищет прецедент» — значит, она ищет предлог уклониться от этого брака, и, уничтожив документ, он окажет Екатерине услугу. Но думается, что были тут и другие, куда более личные мотивы. Показав грамоту посланнику Екатерины, Алексей Григорьевич тем самым подтвердил, что их отношения с Елизаветой были действительно искренними, глубокими и никак не «прелюбодейными», что он вовсе не присваивал себе сомнительный титул «самозваного мужа императрицы», как об этом кое-кто поговаривал, а Елизавета пользовалась славой набожной женщины отнюдь не зря. Уничтожив же документ, он показал, что абсолютно не желает, чтобы их чувства и их брак стали в будущем предметом амурно-политических игр у трона и досужих придворных сплетен. Отныне все их тайны были обречены на то, чтобы так и остаться тайнами и вместе с ними уйти в вечность.