Из своих комнат он слышал веселый шум, но с изуродованным лицом и слепым на один глаз делать ему на празднике было нечего, и это еще сильнее растравляло обиду Джулио. Он не простил Альфонсо того, что тот не только не наказал Ипполито, но и продолжал оказывать ему всяческие милости. Пока Альфонсо и Лукреция веселились на карнавале 1506 года, Джулио вместе с Ферранте вступил в братоубийственный заговор — Congiura. Ферранте сам хотел стать герцогом. Они объединились против Альфонсо и, в меньшей степени, против Ипполито, а поддержали их другие, недовольные сложившимся положением вещей — Герардо Роберти и Альбертино и Роберто Боччетти, боявшиеся утратить свои владения. В 1504 году Альфонсо находился в отъезде. Согласно прошедшему впоследствии допросу заговорщиков, Герардо Роберти, зная, что голову Ферранте кружит мечта унаследовать герцогский титул, предложил ему создать группу и убить Альфонсо. Годом позже Герардо Роберти и Альбертино Боччетти сказали Ферранте, что они убьют Альфонсо во время карнавала 1506 года. В группу заговорщиков вошел и любимый певец Альфонсо — Жиан Канторе. Мотивы такого его поступка кажутся непонятными. Возможно, он надеялся на большие милости от Джулио, страстного меломана. Ферранте и Роберти посетили Джулио в его апартаментах в палаццо Корте. Целью заговорщиков было убийство Альфонсо и возведение на престол Ферранте. С Ипполито тоже надо было расправиться. Поступило предложение убить Альфонсо в публичном доме: там он меньше всего будет ожидать нападения.
Заговорщики, однако, не могли договориться между собой и проявили полную некомпетентность в способе осуществления своих намерений. Ферранте хотел прежде всего убить Альфонсо; Джулио — отомстить Ипполито. Герардо и Сиджизмондо, сын Альбертино. действуя на основании информации, полученной от Жиана Канторе, ночью, с отравленными кинжалами поджидали герцога на улице Феррары. Дважды они его упускали, и дважды не хватало им смелости осуществить свое намерение. Альфонсо был крупным мужчиной и хорошо владел оружием, к тому же под камзолом он носил кольчугу. Конспираторы перессорились друг с другом, обновляли яд на кинжалах и никак не могли договориться.
В апреле Альфонсо уехал в Венецию: по всей видимости, докладывал о намерении совершить паломничество к Лоретской богоматери. Кроме того, герцог хотел заручиться у синьории поддержкой своего государства. Предполагалось, что визит будет коротким: после Венеции он собирался ехать в Испанию. На время своего отсутствия герцог вручил Лукреции бразды правления. Теперь она должна была не только рассматривать петиции, но и проводить аудиенции, издавать приказы. Решение Альфонсо означало не просто признание им административных талантов Лукреции, но и высокую степень доверия. Кроме жены, герцог доверял только кардиналу (Ипполито остался в Ферраре) и Никколо Корреджо (тот сопровождал его в Венецию). Более того, по свидетельству Проспери, Альфонсо дал право Лукреции принимать самостоятельно решения по всем вопросам «за исключением дел, от которых зависит существование государства». В целях большей безопасности Лукреция готовилась переехать в комнаты Альфонсо в палаццо Корте, а наемные ландскнехты охраняли замок. В день, назначенный для отъезда Альфонсо, Лукреция поехала в монастырь Корпус Домини, поскольку была Страстная неделя, и там она сильно заболела с лихорадкой и ознобом. По словам Проспери, болезнь ее перешла в опасную стадию, и Альфонсо отложил отъезд, сохранив, как всегда, в секрете день, в который он действительно хотел уехать. Уехал он 19 апреля, на рассвете, потому как не хотел привлекать к себе внимание горожан: они непременно бросились бы к нему лобызать руку. Вернулся Альфонсо в конце месяца. Приветствовали его Лукреция и Ипполито, с ними он обедал в саду. В середине мая герцог снова уехал в Венецию и на Адриатику.