Подворье ростовских архиереев служило убежищем известного в XV в. писателя, знатного боярина, ставшего монахом и ростовским митрополитом, Вассиана Рыло. Тут он писал свое "Послание на Угру", сыгравшее столь значительную роль в освобождении Руси от ордынского ига. Он, духовник великого князя Ивана III, убеждал его не бояться врага, а идти вместе с войском сражаться с ним: "Когда ты, вняв молению и доброй думе митрополита, своей родительницы, благоверных князей и бояр, поехал из Москвы к воинству с намерением ударить на врага христианского, мы, усердные твои богомольцы, денно и нощно припадали к алтарям Всевышнего, да увенчает тебя Господь победою. Что же мы слышим? Ахмат приближается, губит христианство, грозит тебе и отечеству; ты же пред ним уклоняешься, просишь о мире и шлешь к нему послов; а нечестивый дышит гневом и презирает твое моление".
Иван III отправился к войску, и после "стояния на Угре" двух противоборствующих сторон осенью 1480 г. враги ушли из пределов Руси: формальной зависимости от Орды был положен конец.
Благовещенская церковь на протяжении веков, конечно, неоднократно перестраивалась - в 1676 г. в приходных книгах Патриаршего приказа церковь, названная "домовой" ростовских иерархов, числилась "прибылой", то есть недавно построенной и имевшей один престол. Очевидно, первоначально ростовские архиереи поселились здесь еще в начале XV в. - есть известие о том, что Благовещенская церковь была выстроена в камне в 1412 г.
Во время пожара 1685 г. и Ростовское подворье и церковь Благовещения сгорели. После пожара стали строить новую каменную церковь, которую освятили в 1697 г. Тогда храм стал обычным приходским, но подворье еще существовало; в переписи 1722 г. так говорится о нем: "Ростовского архиерея загородный двор, за Смоленскими вороты, за Земляным городом, в Благовещенской слободе, с деревянным строением; на нем изба с сеньми, в ней живет дворник".
В следующем столетии к церкви пристроили трапезную с приделом святителя Николая (1732 - 1737 гг.); потом - в 1765 - 1770 гг. - трапезную расширили и устроили там еще один придел, освященный в память св. мученика Иоанна Воина. Перестройки и достройки, однако, тем не ограничились: новая колокольня появилась около церкви в 1831 - 1837 г., и тогда же была выстроена большая трапезная,
Интерьеры приделов славились прекрасным одноярусным беломраморным иконостасом, где находилась почитаемая икона Божией Матери Коневской.
В Благовещенской церкви служил священником в продолжение почти двадцати лет до перехода в Петровскую земледельческую академию профессором богословия отец замечательного русского художника Александра Головина, который родился в 1863 г. недалеко отсюда, в 4-м Ростовском переулке, в доме братьев его матери Поповых (N 5), стоявшем напротив церкви.