Кажется, что Борджиа восторжествовали: заговор был разоблачен, зачинщики казнены, недовольные в Риме очень вовремя умирали… Но грянул гром… События августа 1503 года можно назвать «Отравленный отравитель». Александр VI и Цезарь заболели. Некоторые исследователи склонны думать, что это действительно была болезнь. Однако занемогли они одновременно — после общего ужина. Теплым августовским вечером они ужинали в саду, на воздухе, окрыленные своими победами. Бо́льшая часть Италии — Романья и Урбино, очень ценные области на севере с центром в Равенне — покорилась им. Казалось, скоро можно будет двинуться на юг — и удастся договориться о единой Италии. Но после этого прекрасного ужина очень быстро, через несколько дней, умер Александр VI и тяжело заболел Цезарь. Ему поставили обычный для той эпохи диагноз — лихорадка.
Он заперся в замке Святого Ангела в Риме, чтобы никто не мог до него добраться. Цезарь успел рассказать Никколо Макиавелли, что у него был план на случай кончины отца. План того, как сохранить папский престол и продолжить объединение Италии. Цезарь предусмотрел все, кроме болезни.
Избрание нового папы состоялось без прямого и активного участия Цезаря. Казалось бы, ему повезло: избран лояльный к роду Борджиа папа Пий III, который был благодарен за что-то Александру VI и дружен с Цезарем. Но этот человек побыл папой только 27 дней — и умер. Видимо, тоже от лихорадки… Его место занял тот, кто ненавидел Борджиа давно и упорно, — Джулиано делла Ровере.
Новый папа Юлий II объявил Цезаря узурпатором и приказал арестовать. Тот вырвался из-под ареста, бежал на юг, в Неаполь, но там, несмотря на охранное письмо от королей Фердинанда и Изабеллы, был снова арестован и в 1504 году отправлен в Испанию, в мрачный замок Вильянуэва-дель-Грао. Он пробыл там почти два года и опять совершил романтический побег: на веревке спустился по стене. Внизу ожидали верные люди с лошадьми. Веревка оказалась коротковата — слуга, который спускался перед ним, упал и сильно разбился, его там и оставили. Цезарь ударился не так сильно — его довели до коней, и он бежал.
Вот что пишет некто Херонимо Зурита, современник этих событий: «Освобождение Цезаря обрушилось на папу, как гром среди ясного неба. Герцог был единственным человеком, способным даже в одиночку взбудоражить и поднять всю Италию. Само упоминание его имени разом нарушило спокойствие в церковном государстве и сопредельных странах, ибо он пользовался горячей любовью множества людей: не только воинов, но и простонародья. Еще ни один тиран, кроме Юлия Цезаря, не имел подобной популярности».