Москвичи уже поджидали герцога, чтобы заживо растерзать его на пути в Сибирь, но Бирон был спасен от «черни» конвоем. В Пелыме стоял дом, строенный для герцога по планам Миниха, с прекрасным видом из окна на жуткую тайгу.
Внезапный переход от величия к ничтожеству свалил Бирона в черной ипохондрии, близкой к смерти. Но в Пелыме он прожил всего пять недель, после чего был переправлен в Ярославль, где и провел весь срок ссылки. Для жительства ему был отведен в городе каменный дом с садом на берегу Волги, в котором позже размещалось полицейское управление Ярославля. Помимо семьи с ним были лекарь, два повара, «арапка Софья» и «турчанка Катерина», которые от герцога сразу бежали и вышли замуж за лихих ярославских парней. Это бы еще ничего, но вскоре от Бирона убежала и дочь — Гедвига. Приняв православие, она заслужила прощение от Елизаветы Петровны, которая и выпихнула ее замуж за барона Черкасова, пострадавшего в царствование Анны Кровавой от самого же Бирона.
Надо знать политическое значение Бирона для России! Хотя герцог и был сослан, но русское правительство Елизаветы Петровны короны его не лишало. Если отнять у Бирона его титул, тогда Европа сразу выставит многих претендентов на обладание Курляндией, а народ латышский навсегда будет оторван от русского.
Потому-то российские политики поступали весьма дальновидно и мудро, держа Бирона в Ярославле, а права на его корону как бы в своем кармане. Петр III в 1762 году вызвал Бирона из ссылки, а Екатерина II вернула ему власть над Курляндским герцогством. Понимая, что положение его целиком зависит от России, Бирон безоговорочно исполнял все просьбы Петербурга, был вассалом верным и преданным. В герцогстве он вызвал бурный гнев своего рыцарства тем, что старался ослабить рабство крестьян, а также покровительствовал евреям в финансах. Отголоски этой борьбы попали даже в поэму Байрона «Дон Жуан», где Байрон, не разобравшись в истинном смысле событий, вставал на защиту псов-рьщарей, выводя в поэме Бирона как душителя свободы. На самом же деле, в данной политической ситуации Бирон выступал верным союзником русских интересов в Прибалтике, а реакционное курляндское рыцарство, закабаляя балтов, враждовало против прогрессивных устремлений России.
Как раз в это время проездом через Мигаву герцога навестил знаменитый оборотень, авантюрист международного класса Джованни Казанова, который оставил нам описание Бирона: «Это уже порядочно сгорбившийся, плешивый старец. Вглядываясь поближе, легко было увериться, что он, вероятно, когда-то был очень красивым мужчиной». Жена герцога в 1777 году выпустила книжку своих стихов.