Особые отделы были тогда образованы во всех полномочных представительствах ОГПУ, а через год, приказом ОГПУ № 2/1 от 1 января 1931 года, ОО всех дислоцированных в краевых и областных центрах корпусов и дивизий РККА были слиты с аппаратами особых отделов ПП; аналогично обстояло дело в центрах оперативных секторов ОГПУ. В результате этой реформы органы военной контрразведки полностью выводились из-под контроля военного командования, с которым у руководства особых отделов нередко складывались достаточно напряженные взаимоотношения.
Таким образом, к началу 1930-х годов в основном была восстановлена единая и жестко централизованная система органов безопасности в армии и на флоте. Особым отделам вменялось в обязанность вести борьбу со шпионажем и «контрреволюционными проявлениями» как в воинских частях и учреждениях РККА, так и в их окружении. В сферу оперативного обслуживания Особого отдела входили также военные и пограничные вузы, войска ОГПУ и погранвойска, военизированная пожарная охрана ОГПУ и части особого назначения.
В августе 1931 года начальником Особого отдела ОГПУ был назначен бывший начальник Экономического управления ОГПУ Г. Е. Прокофьев, в ноябре того же года ставший заместителем наркома Рабоче-крестьянской инспекции СССР. Его преемником стал бывший начальник Секретно-оперативного управления ГПУ УССР, заместитель начальника ОО ОГПУ И. М. Леплевский, но уже с июня 1933 года ОО ОГПУ СССР возглавил М. И. Гай, ранее находившийся на политработе в войсках ВЧК — ОГПУ, а также в Экономическом управлении ОГПУ; с декабря 1932 года он был заместителем начальника Особого отдела.
Прокофьев Георгий Евгеньевич (1895–1937). Окончил юридический факультет Киевского университета. С сентября 1920 года — в Особом отделе ВЧК, затем — на различных ответственных должностях в ОГПУ. Начальник Особого отдела ОГПУ в августе — октябре 1931 года. С ноября 1932 года — заместитель председателя ОГПУ СССР и начальник Главного управления Рабоче-крестьянской милиции ОГПУ; с июля 1934 года — заместитель наркома внутренних дел СССР. Комиссар госбезопасности 1-го ранга. С сентября 1936 года — первый заместитель наркома связи СССР; в апреле 1937 года обвинен в участии в антисоветском заговоре в НКВД и подготовке теракта против наркома Н. И. Ежова. 14 августа 1937 года осужден к высшей мере наказания и расстрелян.
Из показаний Г. Г. Ягоды на процессе по делу «Антисоветского „правотроцкистского блока“»:
«После назначения Ежова народным комиссаром внутренних дел было совершенно ясно, что вся деятельность нашей группы, а также „право-троцкистского блока“, будет вскрыта. Ежов уже начал разгром кадров заговорщиков и, конечно, мог добраться до центра блока и до меня в частности.