В декабре 1938 года Ежов был смещен с поста наркома внутренних дел. Вслед за этим началась «чистка» самих органов внутренних дел. Были арестованы и затем расстреляны бывший нарком Ежов, его заместители Фриновский, Заковский, Реденс, руководители многих отделов наркомата и областных отделов НКВД, следователи, занимавшиеся политическими делами.
Вышинский быстро сориентировался в новой обстановке и сразу же натянул на себя тогу «радетеля за законность». Он даже внес предложение в 1ДК ВКП(б) и Совнарком СССР об изъятии из ведения Особого совещания дел о контрреволюционных преступлениях и передачи их в суды. Он быстро «сдал» и некоторых прокуроров якобы за «причастность» к массовым необоснованным арестам. Тогда были осуждены судебнопрокурорские работники Омской, Восточно-Казахстанской, Смоленской и некоторых других областей. Он стал поддерживать и начавшуюся реабилитацию ранее осужденных лиц, хотя массовое освобождение их из тюрем и лагерей произошло уже при Прокуроре Союза ССР Панкратьеве.
Теперь он и на всех проводимых совещаниях «громил» прокуроров, допускающих осуждение невиновных лиц, приводя действительно творившиеся на местах (как, впрочем, и в центре) «дичайшие» случаи беззакония и произвола. На собрании актива работников Прокуратуры СССР, Прокуратуры РСФСР, Московской городской и областной прокуратур, проходившем 28 января 1938 года в здании на Пушкинской улице, А. Я. Вышинский сделал доклад «О некоторых недостатках в работе прокуратуры и мерах по их устранению». Прокурор Союза с присущим ему пафосом говорил о происках «искусно замаскированных врагов», которые более всего кричат о бдительности, а сами только и стремятся, «путем проведения репрессий перебить большевистские кадры». Он упрекнул прокуроров за то, что они слишком пассивны и не вмешиваются, когда людей, исключенных из партии за какие-либо проступки, но не признанных преступниками и не осужденных, изгоняют с работы и выселяют из квартир. Подчеркнув, что ответственность должны нести только лица, чья виновность установлена,
Вышинский стал говорить о положении дел в следственной части, о грубых промахах и ошибках при предании некоторых лиц суду. Он привел и некоторые «яркие» примеры.
В Ленинградской области колхозник был осужден только за то, что «зайдя к соседу и не застав его дома, взял стоявшую на столе бутылку водки». Сторожа колхоза приговорили к одному году исправительно-трудовых работ за халатность, так как «во время его дежурства погибла корова от преждевременного отела».
В Курской области (Вышинский при этом сделал акцент на том, что прокуратуру там возглавлял «изменник», сгруппировавший вокруг себя «целую группу врагов») было создано такое «дело». На нескольких колхозников напал бык, который, как отмечалось в документах, «обычно бросался на людей». Те, естественно, стали отгонять его кто кнутом, кто хворостиной. От быка отбились, не причинив ему, впрочем, никакого вреда. Казалось бы, все обошлось благополучно. Но, к несчастью колхозников, на другой день этот бык, как было написано в обвинительном заключении, «отказался покрывать коров». Поэтому против селян, с трудом отбившихся накануне от разъяренного быка, возбудили уголовное дело по статье 79-1 УК РСФСР (умышленное изувечение скота с целью подрыва коллективизации сельского хозяйства и воспрепятствования его подъему). Их судили и приговорили к исправительно-трудовым работам.