А после этого происходит передача дел ничего не подозревающему герцогу Ровиго. Вся разведывательная сеть Фуше порвана на множество мелких, не связанных между собой частичек, главные звенья ее бесследно исчезли. Через сутки об этом догадывается и Савари, который вынужден с тревогой доложить о странном происшествии самому императору. Наполеон посылает фуше предписание вернуть похищенные бумаги. Одно, второе, третье… Но тот в ответ лишь утверждает, что давно сжег документы, которые у него требуют. Он как бы мимоходом бросает посланному от Наполеона, что это сделано для поддержания чести императорской фамилии (явный намек на имеющиеся в руках отставного министра важные и компрометирующие бумаги). Но Фуше просчитался — он недооценил решительность Наполеона. Тот сразу отдает приказ начальнику своей личной полиции Дюбуа: или Фуше вернет требуемые бумаги, или его надлежит отправить в тюрьму под конвоем десятка жандармов, и он скоро почувствует, что значит навлекать на себя императорский гнев.
Только теперь Фуше понимает, что зашел слишком далеко, — Дюбуа опечатывает бумаги бывшего министра. Конечно, все важное давно припрятано в надежных местах, но ясно, что император ни перед чем не остановится, дабы сломить Фуше. И Фуше на какой-то момент действительно сломлен. Тщетно пишет он униженные письма Наполеону, добивается приема. Ему грубо сообщают, что в его услугах более не нуждаются. Объятый паническим страхом, Фуше уезжает из Парижа, мчится в Италию, петляя по различным городам, собирается уехать за океан — его останавливает лишь страх попасть в руки англичан. А тем временем герцогиня Отрантская вступает в соглашение с Наполеоном. Она отдает самые важные бумаги, касающиеся лично Наполеона и императорской фамилии. После этого отставной министр имеет возможность вернуться в свое поместье. (Это еще не последний этап в карьере Фуше — его ожидают новые взлеты и новые падения.)
А пока что Савари, начисто лишенный способностей Фуше, но трудолюбивый и настойчивый служака, начинает шаг за шагом восстанавливать разрушенное. Кое-какие следы Фуше не успел уничтожить — остается, например, регистрационная книга фамилий и адресов второстепенных осведомителей. Кое-кого знают чиновники министерства, даже швейцар. И когда посетители — среди них много агентов Фуше, — не подозревая о произведенном разгррме, из осторожности наносят ни к чему не обязывающий визит новому хозяину в здание министерства полиции, министр спешно консультируется у привратника, посещало ли данное лицо герцога Отрантского. Скрывая свое незнание, Савари удается убедить большинство явившихся на прием людей, что у него находятся все материалы об их прошлом, которыми располагал Фуше. А ведь эти материалы часто куда более, чем деньги, служили гарантией верности агента. Так постепенно, незаметно для самих агентов, и не подозревавших о развале механизма, частью которого они являются, эта машина снова восстанавливается деталь за деталью. И хотя многие «части» утеряны, ее снова пускают в ход.