Три недели Долгорукие плыли водою. «Когда погода тихая, я тогда сижу под окошком в своем чулане, когда плачу, когда платки мою: вода очень близко, а иногда куплю осетра и на веревку его; он со мною рядом плывет, чтоб не я одна невольница была и осетр со мною».
Этот бесхитростный рассказ неожиданно выдает в мужественной и стойкой женщине полуребенка, обиженного судьбой. Мучительная и трудная дорога — страшная буря на воде, триста верст дикими горами, усыпанными дикими камнями, а по обе стороны рвы глубокие, «и ехать надобно целый день, с утра до ночи» — эта дорога описана ею с живой непосредственностью то трагически, то с юмором. С апреля по сентябрь были в пути.
«Не можно всего страдания моего описать и бед, сколько я их перенесла. Что всего тошнее было, для кого пропала и все эти напасти несла, и что всего в свете милее было, тем я не утешалась, а радость моя была с горестию смешана всегда; был болен от несносных бед, источники его слез не пересыхали»,— с грустью признается Долгорукая, вспоминая мужа.
В Березове они прожили восемь лет, а место это было гиблое, где «зимы 10 месяцев или 8, морозы несносные, ничего не родится, ни хлеба, никакого фрукту, ниже капуста. Леса непроходимые да болоты; хлеб привозют водою за тысячу верст. До такого местечка доехали, что ни пить, ни есть, и носить нечева, ничево не продают, ниже калача».
Первою умерла свекровь Натальи Борисовны, затем старый князь. Оставшиеся сестры и братья не переставали ссориться друг с другом, пока вследствие этих ссор не последовал донос, так как вгорячах говорились неосторожные слова об императрице и фаворите ее Бироне.
Князь Иван Алексеевич Долгорукий, муж Натальи Борисовны, был взят под стражу и увезен в Тобольск, а затем в центральную Россию, в Новгород. Там его судили и казнили четвертованием. Братьям «урезали» язык, били кнутом и сослали на каторжные работы. Сестер разослали по монастырям. Бывшую царскую невесту Екатерину Долгорукую заключили в Томском Рождественском монастыре. В Березове, где были уже могилы Меншикова и его несчастной дочери Марии — первой царской невесты Петра II, а также стариков Долгоруких, осталась одна Наталья Борисовна с двумя малолетними сыновьями, рожденными в этом унылом краю. Долго ничего толком не знала она о судьбе неизвестно куда увезенного мужа.
Однако и цари не вечны. Умерла Анна Иоанновна, недолгим было правление Анны Леопольдовны. На престол 25 ноября 1741 года вступила Елизавета Петровна. По ее указу все Долгорукие, близкие ее племянника Петра II, были возвращены из ссылки. Царская невеста Екатерина освобождена из монастырского заточения.