В середине 1921 года в прессе началось обсуждение вопросов революционной законности. Большинство выступлений сводилось к тому, что должна быть повышена роль традиционных судебных органов в борьбе с контрреволюцией и уголовной преступностью, а практика внесудебного рассмотрения дел чрезвычайными комиссиями прекращена. 23 июня 1921 года ВЦИК издал декрет об объединении всех военных трибуналов республики. Однако, несмотря на окончание гражданской войны и разгром белогвардейских и иностранных армий, внесудебные полномочия чекистских органов фактически остались, хотя они и регулировались в правовом отношении актами высших органов государственной власти (ВЦИК, СНК, СТО). С момента создания ВЧК руководство РСФСР постепенно сформировало систему мер, направленных на введение деятельности органов государственной безопасности в правовое русло, ограничение произвола в деятельности спецслужб.
Однако поток жалоб и обращений о самоуправстве и незаконных действиях центральных и местных органов государственной безопасности не ослабевал. Особой жестокостью отличались чрезвычайные комиссии на Украине. Правительство было вынужденно назначить председателем Всеукраинской ЧК М. Я. Лациса. Однако спустя два месяца Лацис сообщил председателю Совнаркома, что «чистка» невозможна, поскольку заменить «малоспособных и малонадежных» некем. Многие чекисты открыто демонстрировали нарушения правовых норм, демагогически прикрываясь принципом классовой целесообразности в деятельности ВЧК. Грубейшие нарушения законности органы ВЧК допускали в сфере борьбы с буржуазными и мелкобуржуазными партиями и течениями. Деятельность спецслужб тормозила проведение политических и экономических преобразований в стране, а перед руководством РСФСР остро встал вопрос о необходимости реорганизации ВЧК. 1 декабря 1921 года Политбюро ЦК ВКП(б) постановило преобразовать Всероссийскую Чрезвычайную Комиссию. Выступивший на IX Съезде Советов В. И. Ленин сказал о необходимости подвергнуть ВЧК реформе, «определить ее функции и компетенцию и ограничить ее работу задачами политическими». 6 февраля 1922 года был принят декрет об упразднении ВЧК и создании политических отделов (ГПУ) при ЦИК РСФСР. Название спецслужбы — ГПУ продержалось недолго. 2 ноября 1923 года ЦИК учредил при Совнаркоме СССР Объединенное государственное политическое управление (ОГПУ), а 15 ноября утвердил «Положение об ОГПУ и его органах». Председатель ОГПУ был введен в состав советского правительства и, в соответствии с Конституцией 1924 года, ОГПУ приобрело статус союзного наркомата.