Весной 1920 года направлен на работу в органы ВЧК, где уже в 1921 году занимал должность заместителя председателя Гомельской губернской ЧК. Руководил захватом известного авантюриста Опперпута, ликвидацией савинковской организации и бандформирований Булак-Булаховича. Был тяжело ранен. В 1922 году назначен членом коллегии Башкирского губотдела ГПУ.
В 1925 году зачислен в ИНО ОГПУ и направлен резидентом внешней разведки в Шанхай. В 1928 году совместно с резидентом Разведупра РККА Х. Салнынем организовал устранение китайского диктатора маршала Чжан Цзолиня. С 1929 года легальный советский резидент в Стамбуле (атташе консульства СССР). В 1930 году назначен заместителем начальника «особой группы» при председателе ОГПУ (группа «Яши», Я.И. Серебрянского. — Примеч. В.К.). Выезжал за рубеж, в том числе США, где занимался созданием нелегальной агентурной сети. С 1931 года начальник 8-го отделения ИНО ОГПУ, в дальнейшем командирован в Западную Европу. С 1933 года начальник 1-го отделения (нелегальная разведка) ИНО, вновь в заграничной командировке.
В 1936 году направлен в Испанию в качестве заместителя резидента и советника по безопасности при республиканском правительстве. Занимался подготовкой сил госбезопасности, руководил партизанскими операциями в тылу франкистов, участвовал в ликвидации лидеров испанской Рабочей партии марксистского единства (ПОУМ). По личному указанию И.В. Сталина осенью 1941 года участвовал в подготовке неудачного покушения на германского посла в Турции Франца фон Папена. В 1942 году назначен заместителем начальника 4-го Управления НКВД (НКГБ) СССР. В послевоенный период занимался разработкой агентурных комбинаций по ликвидации польских и литовских националистов, координировал разведывательную работу по созданию атомного оружия, участвовал в подавлении сепаратистского движения мусульман-уйгуров в Восточном Туркестане.
Занимал должности заместителя начальника отдела «ДР» (диверсии) и Бюро № 1 МГБ СССР по диверсионной работе заграницей. Арестовывался в 1951 году «по делу о сионистском заговоре» и в 1953 году «по делу Л.П. Берии». В 1957 году осуждён на двенадцать лет. В 1964 году вышел на свободу. Скончался в Москве (1981 г.). Посмертно реабилитирован (1992 г.). Генерал-майор (1945 г.). Награждён орденом Ленина, двумя орденами Красного Знамени, орденом Суворова II степени, орденом Александра Невского, медалями.
Программа подготовки слушателей КУОС была рассчитана на семь месяцев. Жесткий учебный план был нацелен на формирование у курсантов морально-психологической устойчивости при действиях в экстремальных условиях, их способности выживать и выполнять стоящие боевые (специальные) задачи в разных климатических условиях при любом рельефе местности. Ведь спецподразделения КГБ СССР готовились «осуществлять оперативно-боевые операции в любой точке земного шара». При этом среди профессоров и преподавателей курсов усовершенствования офицерского состава в Балашихе были не столько теоретики диверсионно-разведывательного дела, сколько практики. Имена многих из них стали легендами спецназа ГРУ Генштаба и КГБ СССР