С мая 1920 года работал делопроизводителем военного коменданта, затем — регистратором Управления уездной милиции в городе Старая Русса. С сентября 1921 года являлся секретарем военкома батальона связи 56-й стрелковой дивизии.
В мае 1922 года принят на работу в органы государственной безопасности. Последовательно занимал должности сотрудника аппарата уполномоченного ГПУ по Старо-Русскому уезду, уполномоченного Новгородского, а затем Псковского губернских отделов ОГПУ. В январе 1927 года вступил в члены ВКП(б).
С апреля 1928 года — уполномоченный Особого отдела 16-й стрелковой дивизии. В сентябре направлен на учебу в Высшую пограничную школу (ВПШ) ОГПУ — на годичный спецкурс, на котором готовили оперативных сотрудников для контрразведывательных и особых отделов.
После окончания ВПШ в августе 1929 года распределен на должность уполномоченного Особого отдела дивизии в Ленинградском военном округе. Однако уже в октябре переведен на работу в центральный аппарат ОГПУ, где до 1936 года служил на руководящих должностях в подразделениях Особого отдела (ОО). В 1936–1938 годах — в Контрразведывательном отделе (КРО) ГУГБ НКВД СССР. В период работы в Контрразведывательном и Особом отделах Центра принимал участие в деятельности следственной бригады, которая расследовала обстоятельства убийства члена Политбюро ЦК ВКП(б), первого секретаря Ленинградского обкома партии Сергея Мироновича Кирова.
С июня по ноябрь 1938 года руководил советской внешней разведкой. Старший майор госбезопасности.
Начальником разведки (5-го отдела Первого управления НКВД СССР) Пассов был назначен с должности начальника Контрразведывательного отдела. 29 сентября 1938 года в связи с реорганизацией структуры Комиссариата внутренних дел возглавил теперь уже 5-й отдел Главного управления государственной безопасности (ГУГБ) НКВД СССР (новое название подразделения внешней разведки).
Награжден орденом Ленина, нагрудным знаком «Почетный работник ВЧК — ГПУ», именным оружием и золотыми часами.
23 октября 1938 года арестован по обвинению в антисоветской заговорщической деятельности в органах НКВД.
В чем же конкретно обвинялся Пассов, об аресте которого нарком Ежов лично докладывал Сталину? Ответ на этот вопрос можно найти в протоколе его допроса:
«Пассов, вместо живой практической работы по белым, по офицерству, по выявлению направленной РОВСом своей агентуры в СССР, намеренно занимался так называемым легендированием, которое создавало внешнюю видимость работы против белых, чтобы скрыть подлинные их базы на территории страны…»