Тем временем дела Чезаре в Риме шли из рук вон плохо. Юлий II был воинственным папой с большими амбициями. Как и Александр, он намеревался взять папское государство под свой контроль и расширить свое влияние там, куда не успели добраться Александр и Чезаре. На Чезаре он смотрел как на расходное средство, от которого избавится, как только с его помощью добьется своей цели. Несколько месяцев играл папа с Валентинуа в кошки-мышки: он хотел, чтобы тот сдал ему последние свои крепости в Романье. 1 декабря пришло известие, что кавалерийские отряды Микелотто взяты в плен возле Ареццо. По свидетельству Макиавелли, сообщение это привело папу в восторг: «Ему казалось, что, взяв в плен этого человека, он раскроет все грабежи, кражу церковного имущества и другие злодеяния последних одиннадцати лет, совершенные в Риме против Господа и человека». На радостях Юлий сказал Макиавелли, что с нетерпением ожидает разговора с Микелотто, хочется «узнать о его фокусах: в дальнейшем это поможет ему лучше управлять Церковью». Расстроенный Чезаре пообещал передать Юлию некоторые свои крепости в Романье. Тем не менее, когда папский представитель явился в Чезену, братья Рамирес, кастеляны, состоявшие на службе у Чезаре, избили гонца и повесили его на стене замка, после чего послали папе издевательское письмо. Юлий рассвирепел и 20 декабря заключил Чезаре в башню Борджиа, в ту самую комнату, в которой Микелотто три года назад убил Альфонсо Бисельи.
В начале января 1504 года Чезаре получил еще один удар: по дороге в Феррару захватили две его повозки с имуществом. Одна повозка следовала из Чезены, другая — из Рима. В повозке из Чезены было много добра из комнат Александра, взятого Микелотто в день смерти понтифика. Там была инкрустированная драгоценными камнями каминная доска из базилики Святого Петра, запрестольные образа, золотые чаши и драгоценные камни, восемьдесят огромных жемчужин и «кот из золота с двумя великолепными бриллиантами вместо глаз». Переправляли эти вещи от имени Ипполито, а это доказывает, что под влиянием Лукреции Эсте до сих пор готовы были помогать Чезаре. Ипполито и Лукреция делали это активно, как явствует из апрельского письма 1504 года, адресованного Ипполито, но упоминающего Лукрецию. Автор письма — Хуан Артес, командир галер Чезаре. В качестве «хорошей новости» Артес сообщил, что достигнуто соглашение, в результате которого кастеляны Валентинуа передадут папскому представителю его крепости, после чего Чезаре выпустят из Остии и он беспрепятственно приедет в Неаполь. В Неаполе Чезаре, и сам большой обманщик, оказался жертвой двойного предательства. Менее всего ожидал этого Валентинуа от «великого капитана», Гонсальво Кордовского. 26 мая, накануне отбытия корабля в Тоскану, Чезаре пришел проститься и был арестован капитаном, хотя до сих пор в отношении к нему Шнсальво не было и намека на подобное развитие событий. Чезаре стал жертвой международной интриги между папой и королевской четой Испании. Папа боялся выпущенного на свободу Валентинуа, а короли всячески угождали папе, желая добиться от него двух вещей: во-первых, разрешения на брак Катерины Арагонской с братом покойного ее мужа, будущим английским королем Генрихом VIII, а во-вторых, инвеституры на Неаполитанское королевство. Кроме того, имеются сведения, что вдова Хуана Гандийского, убежденная в том, что Чезаре убил ее мужа, лично обратилась к королю Испании с просьбой вернуть Валентинуа и казнить за его совершенное им преступление. В августе Чезаре лишился последней своей собственности в Романье. и преданный ему кастелян, Гонсаль-во де Мирафуэнтес, выехал из крепости Форли с поднятым вверх копьем. С этого момента Чезаре потерял все, ибо в Форли хранилось у него добро, награбленное в Урбино, включая и знаменитую библиотеку. Со слезами на глазах Гвидобальдо вернул себе утраченную собственность, а папские агенты схватили остальное имущество. Несколько дней спустя арестованного Чезаре переправили на корабле в Испанию.