В мае 1917 года вернулся в Латвию. Работал в Исполкоме латышских стрелков (Исколат), вел антивоенную агитацию на Северном фронте. Был избран членом ЦК социал-демократии Латвии (СДЛ), был одним из редакторов органа ЦК СДЛ — газеты «Циня» («Борьба»), В октябрьские дни 1917 года комиссар Петроградского ВРК. На II Всероссийском съезде Советов избран членом ВЦИК. 7(20) декабря 1917 года был утвержден членом Коллегии, помощником председателя и казначеем ВЧК. На следующий день по поручению Ленина руководил арестами сотрудников поезда американской военной миссии Красного Креста, вместе с офицерами русской армии готовившими отправку на Дон к генералу Каледину автомобили и др. технику. При переезде Совнаркома в Москву вместе с К.А. Петерсоном руководил охраной правительственного поезда. В апреле 1918 года вместе с Ф.Э. Дзержинским возглавлял операцию по ликвидации вооруженных отрядов анархистов в Москве, руководил ликвидацией отделения «Союза защиты Родины и свободы» Б. Савинкова в Москве и Казани.
7 июля, после подавления мятежа левых эсеров и заявления Дзержинского об отставке, постановлением СНК РСФСР был назначен временным председателем ВЧК, а 22 августа после возвращения Дзержинского на этот пост утвержден его заместителем. Руководил следствием по делу Фанни Каплан, стрелявшей в Ленина, и операцией по т. н. «заговору послов», включая аресты и следствие.
27 марта 1919 года был утвервден членом Коллегии ВЧК нового состава. Работал в Московском ревтрибунале и возглавил штаб по борьбе с контрреволюцией в Москве. В мае 1919 года был направлен чрезвычайным комиссаром Петрограда и прифронтовой полосы «по очистке города от контрреволюционных банд», с мандатом от Совета обороны РСФСР. Был назначен начальником внутренней обороны Петрограда. Издал распоряжение об аресте членов семей перешедших к белогвардейцам командиров Красной армии, провел чистку комсостава гарнизона, в результате которой было арестовано более 200 человек, руководил операцией по изъятию оружия у населения. Были среди его распоряжений и такие, как запрещение катания на лодках по Неве и другим рекам, отключение от городской телефонной сети всех частных телефонов. Вместе с уполномоченным ЦК и Совета обороны Сталиным руководил подавлением мятежа на форте Красная Горка.
15 августа 1919 года вернулся в Москву и сразу же выехал в Киев. 22 августа Советом обороны УССР и РВС 12-й армии назначен комендантом Киевского укрепрайона и начальником гарнизона. После оставления Красной армией города вместе с ВУЧК эвакуировался в Гомель, был ранен в результате покушения.