31 декабря 1839 года В. Н. Панин вступил в управление Министерством юстиции, а 16 апреля 1841 года император утвердил его в должности министра юстиции и генерал-прокурора.
По свидетельству современников, состояние правосудия в России в середине ХIХ века находилось в удручающем состоянии. Панину сразу же пришлось столкнуться с целым рядом проблем, главными из которых являлись косность судопроизводства, медлительность в рассмотрении дел, почти поголовное взяточничество и поборы в присутственных местах. Генерал-прокурор направил на места ряд строгих предписаний, требуя от председателей судебных палат и губернских прокуроров скорейшего решения дел, но это помогало очень мало. В 1841 году петербургские суды были обревизованы гражданским губернатором В. А. Шереметевым. Была раскрыта потрясающая картина беспорядков и злоупотреблений. В департаментах оставалась почти тысяча нерешенных дел, иногда тянувшихся годами. Панин доложил о результатах ревизии Государственному совету и внес некоторые предложения по улучшению делопроизводства. Совет одобрил их, но вместе с тем вменил в обязанность генерал-прокурору удостовериться, «были ли со стороны губернского правления и губернского прокурора употреблены должные настояния к прекращению беспорядков и в случае безуспешности таких настояний ограждали ли они себя от ответственности надлежащими донесениями начальству».
Когда императору Николаю I стали известны результаты ревизии, он собственноручно написал следующую резолюцию: «Неслыханный срам; беспечность ближнего начальства неимоверна и ничем не извинительна; Мне стыдно и прискорбно, что подобный беспорядок существовать мог почти под Моими глазами и Мне оставался неизвестным».
После этого Панин принял решение «обозреть» все подведомственные судебные места. Проверку в столичных суда х он проводил лично, а в девяти центральных губерниях — Василий Александрович Шереметев, ставший к этому времени его заместителем.
Граф В. Н. Панин отлично знал законы и был умелым руководителем. Он тщательно подбирал чиновников в свой аппарат, а также прокуроров и судей на местах. Однако работать с ним было исключительно тяжело, особенно лицам с независимыми взглядами. По отзывам современников, он «в служебных отношениях являлся совершенным деспотом». Аристократ по происхождению, граф Панин свысока смотрел на тех, кто не принадлежал к высшему свету. Если первые десять лет руководства министерством он еще как-то общался с подчиненными и принимал от них доклады, то впоследствии находился в «искусственно замкнутой сфере», осуществляя все контакты исключительно через директора департамента. Воля императора была для него священна, поэтому и служебный долг своих подчиненных граф понимал однозначно — беспрекословное исполнение его повелений. Панин никогда не отменял своих резолюций, если даже сам убеждался в их нелепости. Как министр юстиции и генерал-прокурор, он безусловно заботился о правильной организации работы суда и прокуратуры, боролся с волокитой. Ему удалось преобразовать межевую часть министерства, образовать консультацию, учредить в Москве архив Министерства юстиции. Отличаясь исключительным консерватизмом взглядов, он являлся решительным противником реформ судебной системы. И все же при нем было отделено следствие от полиции и создан институт судебных следователей.