В 1379 году во время внутренних раздоров в мавзолее Адриана засел со своим ополчением Роберт Женевский, который защищал его от народного гнева. После долгого и упорного сопротивления римский народ, захватив эту крепость, решил срыть ее до основания и даже отчасти исполнил свое варварское намерение. Многие плиты и квадратные камни с мавзолея были сорваны, а потом использованы на мощение улиц и другие нужды.
Впоследствии римские папы постепенно восстановили крепость, а в XVI веке «Адрианова башня», как называли усыпальницу императоров, получила свое нынешнее название — «Замок Святого Ангела», и произошло это по следующему поводу.
В конце VI века в Риме свирепствовала моровая язва, и жители города в страхе и трепете молились о спасении. Римским папой был тогда Григорий Великий, который, подняв икону Божьей Матери, крестным ходом стал обходить город. Когда процессия переходила через Элиев мост, направляясь к Ватикану, над башней Адриана послышались голоса певших ангелов: «Аллилуйя! Воскресе якоже рече, аллилуйя!». Проникнутый благоговением народ пал ниц, а верховный понтифик обратился с мольбой к иконе Божьей Матери: «Моли Бога о нас, аллилуйя!». И удостоился видеть благословенное явление Ангела Божьего, парящего в воздухе над гробницей императора Адриана и вкладывающего карающий меч свой в ножны Язва тотчас прекратилась…
Папы Николай V и Александр VI особенно способствовали тому, чтобы мавзолей Адриана принял совершенно новый вид. В конце XV века папа Александр VI Борджиа укрепил обветшавшее сооружение, возвел вокруг него четыре бастиона, названные именами четырех евангелистов, сделал парадный двор, где декоративной горкой были сложены уже ненужные мраморные ядра. Правда, по преданию, одно из них было использовано и в XVII веке, когда шведская королева Христина стреляла с крыши замка в сторону холма Пинчо.
Римские папы постоянно занимались перестройками в замке, превращая его в укрепленное место Для большей безопасности верховных понтификов из Ватиканского дворца в замок провели тайный подземный ход длиной около одного километра; в случае опасности папы могли перейти прямо из своего дворца и укрыться в этой крепости. Кроме того, в замке были устроены папские покои, комната для хранения казны и сокровищ, дворики и помещения для хранения продовольствия на случай длительной осады.
Со временем некоторые помещения замка превратились в тюремные камеры, в которых в разное время томились архитектор Аристотель Фиораванти, Галилео Галилей, Бенвенуто Челлини, граф Калиостро, семейство Ченчи и др. Иногда осужденных казнили прямо на верхней террасе замка, и тогда над Римом раздавался печальный звон колокола, и поныне находящегося здесь.