С июня 1922 года — инструктор-организатор Штаба войск ГПУ в Москве, одновременно в 1922–1923 годах — уполномоченный ГПУ по укреплению западной границы на Украине; с 1923 года — инструктор, инспектор Политинспекции ЧПО Закавказской ЧК — ГПУ; с 1926 года — инспектор Политчасти; с декабря 1927 года начальник орготделения ПО УПВО ПП ОГПУ ЗСФСР. С октября 1928 года — слушатель Отдельных курсов усовершенствования высшего командного состава при Военной академии РККА имени М. В. Фрунзе.
С 1929 года — начальник орготделения ПО, с июня 1930 года — начальник ПО, одновременно — помощник, заместитель начальника Управления по политчасти УПО ПП ОГПУ ЗСФСР; с июня 1933 года — начальник УПО ПП ОГПУ ЗСФСР и Закавказского ГПУ; с 13 июля 1934 года — начальник Управления пограничной и внутренней охраны НКВД ЗСФСР и начальник УНКВД Грузинской ССР. С 11 ноября 1934 года — народный комиссар внутренних дел ЗСФСР и начальник УНКВД ГССР; с 1 января 1937 года — нарком внутренних дел ГССР.
В ноябре 1938 года назначен начальником УНКВД по Ленинградской области. С апреля 1941 года — уполномоченный ЦК ВКП(б) и СНК СССР по Молдавской ССР; с июля 1941 года — начальник УНКВД по Хабаровскому краю и уполномоченный НКВД СССР по Дальнему Востоку; с мая 1943 года — начальник УНКГБ — УМГБ по Хабаровскому краю и уполномоченный НКГБ — МГБ СССР по Дальнему Востоку.
С декабря 1950 года — начальник Главного управления охраны на железнодорожном и водном транспорте, член Коллегии МГБ СССР. С августа 1951 года — 1-й заместитель министра государственной безопасности СССР; с ноября 1951 года — министр госбезопасности Узбекской ССР. С 13 февраля 1952 года — заместитель министра и член Коллегии МГБ СССР и по совместительству — начальник Третьего главного управления (военная контрразведка) МГБ СССР. С 20 ноября 1952 года — 1-й заместитель министра госбезопасности СССР. С 12 марта 1953 года — начальник Третьего управления и член Коллегии МВД СССР.
Награжден двумя орденами Ленина, четырьмя орденами Красного Знамени, орденами Трудового Красного Знамени и Трудового Красного Знамени ЗСФСР, Кутузова 2-й степени, знаком «Почетный работник ВЧК — ГПУ».
Девятнадцатого июня 1953 года направлен в Берлин для координации действий в связи с беспорядками в крупных городах ГДР. На следующий день после ареста Л. П. Берии, 27 июня, задержан и доставлен в Москву, где заключен под стражу.
На июльском Пленуме ЦК КПСС (1953) выведен из кандидатов в члены ЦК КПСС и исключен из партии. 23 декабря 1953 года приговорен Специальным Судебным присутствием Верховного суда СССР по обвинению в измене Родине, совершении террористических актов и участии в антисоветской изменнической группе к высшей мере наказания и в тот же день расстрелян. Не реабилитирован.