30 августа 1560 года воеводы князья Андрей Курбский и Иван Мстиславский отправили в Москву гонца с вестью о взятии Феллина. Не прошло и нескольких суток, как из Москвы примчал вестник с приказом оставить в Вильяне — так по-новому был назван Феллин — воеводами окольничих Алексея и Даниила Адашевых. Получив повеление царя, братья задумались и поняли, что они уже в опале.
— Растолкуй мне, Алёша, с чего бы такая немилость к нам?
— Эх, братец Данилушка, я знаю, почему на нас легла опала. Да что с того, тут ничем беде не поможешь.
— Но пойми, Алёша, когда знаешь беду, всегда легче с нею справиться.
— Не будет легче. Русь проваливается во мрак и во зло. И не только нам страдать от насилия. Скоро десятки тысяч русичей станут мучиться от беззакония. Они будут охвачены ужасом, и тысячи из них сложат головы на плахе.
— Алёша, братец, откуда у тебя такие ужасные предчувствия?
— Наверное, из мира провидения. Наступает миг, час, день, когда каждый человек становится провидцем. Вот и мой час пришёл.
Братья стояли в зале у окна городской управы. Тут же были князья Курбский и Мстиславский. Увидев расстроенных братьев, князь Курбский попробовал утешить их:
— Господи, Алёша, Даниил, да это же хорошо, что поживёте вдали от Москвы: там всё завистью пропитано.
Но слова поддержки мало утешили братьев. Им следовало браться за дела в полуразрушенном городе. Даниил подумал о Тархе, которому сейчас не хватает дяди Алексея, как и Алексею — Тарха.
— Надо бы мне сына привезти в Вильян. То-то вместе знатно будет!
— Нет, Данилушка, не тешь себя надеждой, что нас ждёт сладкая жизнь. Мы будем глубже увязать в болоте.
Слова Алексея, как и многое другое, сказанное им ранее, были пророческими. Братья заступили на воеводство в сентябре шестидесятого года, а в начале октября, меньше чем через месяц, Алексею Адашеву велено было выехать в Юрьев. Четвёртый воевода князя Мстиславского Осип Полев, которого тоже оставляли в Вильяне воеводой, счёл себя обиженным Алексеем Адашевым и написал на него царю Ивану Грозному донос.
А в это же время случилось поистине трагическое событие в жизни Ивана Васильевича, в русской действительности. 7 августа 1560 года скончалась царица Анастасия Романова, и это настолько нарушило нормальное течение жизни царя, что он начал зверствовать. Он окончательно избавился от влияния Избранной рады и ополчился на своих бывших любимцев. Он изгнал священника Сильвестра, отторг от Кремля сочинителя Ивана Пересветова, велел заключить под стражу Алексея Адашева по прибытии его в Юрьев.
Спустя три дня после отъезда Алексея в Юрьев Даниилу Адашеву была вручена отписка Поместного приказа. В ней говорилось, что все имения Адашевых в Костромской земле, в том числе село Борисоглебское, слобода Бошарово и пятьдесят пять деревенек, отписаны на имя государя.