Анна Иоанновна была не единственным врагом князя. Он не мог рассчитывать на приязнь еще двух могущественный людей из ближайшего окружения императрицы — Бирона и Остермана. Причиной для вражды Бирона было стремление Верховного тайного совета, которое претворял в жизнь Василий Лукич, воспрепятствовать появлению в России фаворита, императрица должна была оставить своего возлюбленного в Курляндии. Тайную ненависть к Василию Лукичу питал и Остерман, вынужденный терпеть унижения не только от надменного дипломата, но и от всех представителей аристократических фамилий, входивших в Верховный тайный совет, высокомерно относившихся к безродному пришельцу из-за рубежа, вынужденному подлаживаться под их капризы, угождать им.
Судьбой Василия Лукича императрица распорядилась так же, как и судьбой Алексея Григорьевича и его сына Ивана, — по сценарию, составленному Остерманом, но с учетом индивидуальных особенностей опальных. Если сына и отца сразу же отправили в ссылку в отдаленную деревню, то для Василия Лукича при удалении его из Москвы была уготовлена промежуточная инстанция. Указом 8 или 9 апреля он назначался сибирским губернатором. Это была тоже опала, удаление от двора, ссылка, но ссылка почетная, ибо должность губернатора все же считалась престижной.
Преследователи В. Л. Долгорукого даже создали полную видимость серьезности этого назначения: был выработан маршрут пути в Тобольск, Сенат распорядился о выделении 40 ямских подвод, а чтобы «не чинились в дороге препятствия», был отправлен сержант с четырьмя солдатами, обязанными заблаговременно подготовить подводы для сухого пути до Ярославля. Ярославскому воеводе Федору Вельяминову отправили указ о подготовке судов для продолжения пути по Волге.
Князь Василий без промедления отправился в путь, где его 17 апреля догнал подпоручик Преображенского полка Степан Медведев с командой из одного сержанта, одного капрала и 12 солдат. Сибирский губернатор в одно мгновение превратился в простого ссыльного, лишенного чинов, «кавалерии» и обязанного поселиться в своей Касимовской вотчине, в селе Знаменском.
В манифесте от 14 апреля, обнародованном после отъезда Василия Лукича на новую должность, были перечислены вины Алексея Григорьевича и Ивана Алексеевича Долгоруких перед покойным императором. Василий Лукич обвинялся в преступлении непосредственно против императрицы. «За многие его, князя Василия Долгорукого, — сказано в манифесте, — как ее императорскому величеству самой, так и государству бессовестные противные поступки… лиша всех его чинов и кавалерии сняв, послать в дальнюю его деревню с офицером и солдаты и быть тому офицеру и солдаты при нем, князе Василии, неотлучно»