В январе 1805 года Панин увольняется по именному указу «от всех дел» и поселяется в своем смоленском имении под тайным надзором полиции. Даже смерть Александра I не внесла никаких изменений в его 25-летнюю опалу, так как Мария Федоровна взяла с вступившего на трон своего другого сына Николая I единственную клятву — не возвращать из деревни Панина! Тот так и умер, не прощенный, в 1837 году в своем имении Дугино.
От царской немилости пострадали и рядовые участники заговора. «…Подверглись полнейшей опале только те, которые заведомо считались убийцами, как князь Яшвиль, Татаринов, Скарятин, и то не все, — сообщает великий князь Николай Михайлович, — остальные же (Мансуров, Аргамаков и Марин) продолжали свою службу, и никто их никогда ничем не тревожил… Князь Яшвиль дерзнул написать императору Александру вызывающее письмо, никем не читанное в ту эпоху… Александр Павлович читал его, и предание гласило, что именно за это письмо, а главным образом за фразу: „Поймите, что для отчаяния всегда есть средство“, Яшвиль был удален в деревню с воспрещением появляться в обеих столицах… Он страдал манией преследования, как последствие тяжелой обстановки в юношеские годы».
Министр полиции А. Д. Балашов утверждал, что реформатор первых лет царствования Александра I М. М. Сперанский имел неосторожность в разговоре с ним обмолвиться фразой: «Вы знаете подозрительный характер государя. Все, что он делает, он делает наполовину. Он слишком слаб, чтобы править, и слишком силен, чтобы быть управляемым».
Как же человек с таким неординарным характером и, мягко говоря, своеобразным жизненным опытом решал проблему политического сыска за годы своего царствования, продолжавшегося, по подсчетам великого князя Николая Михайловича, 24 года 8 месяцев и 7 дней?
В наследство от августейшего батюшки ему достались два органа политического сыска: существовавшая уже 39 лет Тайная экспедиция во главе с сенатором А. С. Макаровым, деятельность которой он прекратил 2 апреля 1801 года, и созданная еще при Палене в 1800 году Тайная полицейская экспедиция при санкт-петербургском губернаторе во главе с надворным советником Иваном Гагелъсгрёмом — шведом на русской службе. Последний, приступая к выполнению своих обязанностей, даже не поменял подданства и был фигурой весьма загадочной, появлением которой в России мы обязаны, очевидно, Палену, поставившему его во главе полицейской службы не без явного умысла иметь на этом посту полностью зависимого от него иностранца. Естественно, что уже осенью 1802 года Гагельстрём был уволен и жил в своем имении под Могилевом. Во время Отечественной войны он был выслан в Оренбург, где жил до конца 1815 года.