После Февральской революции Орлов вступил в Российский социал-демократический рабочий союз, который возглавлял С. Лозовский, а в 1920 году стал большевиком. В годы Гражданской войны он сражался в рядах Красной Армии на Юго-Восточном фронте, где руководил действиями партизанских отрядов в тылу белогвардейцев и отвечал за контрразведку. По окончании войны Орлов был направлен на работу в Революционный трибунал, а потом в Верховный суд, где занимал должность помощника прокурора и принимал участие в разработке первого уголовного кодекса. В это время он знакомится с такими людьми, как Н. Крыленко, А. Сольц, Н. Немцов, а также с небезызвестным А. Вышинским.
В 1924 году Орлов возвращается на службу в ОГПУ на должность заместителя начальника экономического управления. Как пишет он сам, на него были возложены государственный надзор за реконструкцией советской промышленности и борьба со взяточничеством. Именно Орлов в том же 1924 году рекомендовал Дзержинскому назначить на пост начальника одного из отделов управления Миронова, который в дальнейшем стал заместителем начальника, а потом и начальником экономического управления и «прославился» своим активным участием в организации судебных процессов «большого террора». В должности заместителя начальника управления Орлов проработал до конца 1925 года, а потом был переведен в Закавказье в погранвойска, где командовал частями, несшими охрану границы с Ираном и Турцией. Во время своей службы там он имел возможность общаться с С. Орджоникидзе, бывшим в то время секретарем ЦК Закавказской федерации советских республик (ЗФССР).
В 1926 году Орлова переводят в Иностранный отдел ОГПУ на должность начальника экономического отдела и уполномоченным госконтроля, отвечающим за внешнюю торговлю. С этого момента и до самого бегства в Канаду Орлов работает в Западной Европе. Летом 1926 года с паспортом на имя сотрудника советской торговой миссии Бориса Никольского он выезжает в Париж в качестве резидента одной из самых сильных резидентур ОГПУ в Европе. В начале 1928 года он становится легальным резидентом берлинской резидентуры, где работает под «крышей» советника торгпредства Льва Лазаревича Фельделя. В Берлине он контролирует все импортные и экспортные операции, в том числе и секретные военные заказы, размещенные в Германии и других европейских странах. Одновременно он отвечал за экономический шпионаж, особенно усилившийся после принятия пятилетнего плана.
В 1931 году Орлова отзывают в Москву в связи с участившимися случаями провалов сотрудников советских спецслужб. Перед разведкой встала задача перестроить свою работу так, чтобы провалы в работе не приводили к дискредитации советских дипломатов. Поэтому с этого времени основной упор делается на нелегальную разведку.