С 1806 года И. И. Дмитриев вновь на службе — он стал Сенатором (в Москве) и вскоре получил орден Св. Анны 1-й степени. В 1808 году император направил его в Рязань для следствия о злоупотреблениях по винному откупу, а затем в Кострому для «исследований поступков» губернатора Пасынкова.
1 января 1810 года И. И. Дмитриев стал членом Государственного совета и получил назначение на пост министра юстиции и генерал-прокурора. 30 августа того же года император пожаловал ему орден Св. Александра Невского. Дмитриев довольно скоро понял необходимость проведения кардинальных преобразований в министерстве. Правосудие и прокурорский надзор находились тогда не в самом лучшем состоянии. В своих воспоминаниях он писал по этому поводу: «При первом обзоре всех частей моего министерства я уже видел, что многого недостает к успешному ходу этой машины: излишние инстанции, служащие только проволочке дел и в пользу ябеднических изворотов; недостаточность в назначении сумм на содержание судебных мест, особенно ж палат гражданской и уголовной; определение чиновников к должности большею частью наудачу, по протекции или через покровительство; неравенство в жалованье и производстве в чины».
Дмитриев энергично принялся за работу. Он сумел провести ряд важных узаконений. Как руководитель органов юстиции и прокуратуры, Иван Иванович был достаточно доступен и доброжелателен, своих подчиненных всегда поддерживал и поощрял. У него было много хороших идей о наилучшем устройстве судебной и прокурорской частей. Но не по его вине до их осуществления дело, как правило, не доходило. Одни прогрессивные идеи не нашли поддержки у императора, другим — противились приближенные в высочайшему двору сановники. Да и время оказалось тревожным — надвигалась война с Наполеоном. Правительству было не до преобразований.
Дмитриев, например, признавал весьма полезным учреждение в России училищ законоведения, куда можно было бы принимать не только дворянских, но и купеческих, и мещанских детей. По его мнению, уже через десять лет после этого можно было бы установить правило, чтобы «никого из стряпчих не допускать к хождению по делам без одобрительного свидетельства от одного из сих училищ. Таким образом, — писал он, — невежество и ученичество мало по малу истребилось бы между судьями и приказными служителями, да и самые стряпчие были бы поставлены в необходимость усовершенствовать себя в законоведении и учиться грамматическим правилам отечественного языка».
Доклады министра юстиции и генерал-прокурора Дмитриева императору по конкретным делам, которые он часто практиковал, заставляли иногда содрогаться Александра I. Так, однажды Дмитриев принес на утверждение приговор по делу о жестоком обращении одной помещицы с крепостной девушкой, которая, не выдержав изощренных истязаний, умерла. Слушая генерал-прокурора, император воскликнул: «Боже мой! Можем ли мы знать все, что у нас делается! Сколько от нас закрытого, мы и вообразить этого не можем!» И государь утвердил приговор, даже не смягчив его, как он обыкновенно делал.