Как грамотный чекист, приобретший опыт разведывательной работы, в начале 1928 года направлен в резидентуру ОГПУ в Стамбуле. Однако уже в июле 1930 года в связи с предательством нелегала Агабекова был вынужден вернуться в СССР. За период служебной командировки характеризовался как «один из лучших и ответственных оперативных работников резидентуры, добившийся высоких результатов».
Руководством ОГПУ было принято решение вновь направить Зубова на работу в Закавказское ГПУ. В Закавказье он занимался борьбой с бандитизмом и организованной преступностью, лично принимал участие в ликвидации бандформирований в Грузии и Абхазии. За мужество и героизм, проявленные в боях с бандитами, в 1930 году был повторно награжден почетным именным оружием, в 1931 году — почетной грамотой коллегии ОГПУ «За беспощадную борьбу с контрреволюцией».
В июле 1931 года направлен в Париж в качестве оперативного работника резидентуры ОГПУ. В Париже занимался разработкой антисоветской грузинской эмиграции. По агентурным каналам им была вскрыта и нейтрализована террористическая группа, созданная грузинскими меньшевиками для совершения покушения на И. В. Сталина.
За успешную работу в парижской резидентуре награжден орденом Красного Знамени.
В мае 1933 года возвратился в Москву, работал в центральном аппарате разведки. В апреле 1937 года назначен резидентом НКВД в Праге. Однако уже в 1938 году под вымышленным предлогом отозван в Москву, арестован и помещен в Лефортовскую тюрьму НКВД. Инициатором отзыва и ареста был Сталин, одно из распоряжений которого Зубов не выполнил, обосновав его нецелесообразность.
В конце 1939 года был помещен в одну камеру с ранее арестованным бывшим резидентом польской разведки в Берлине полковником Станиславом Сосновским с целью изучения последнего. В конечном итоге Зубов способствовал успешной вербовке Сосновского.
После начала Великой Отечественной войны по инициативе начальника 4-го управления НКВД генерала Судоплатова освобожден из заключения и направлен в распоряжение управления. В качестве начальника германского отделения руководил подготовкой и заброской в тыл противника разведывательно-диверсионных групп.
В годы войны участвовал в операциях «Монастырь» и «Березино». Его личный вклад в Победу отмечен орденами Ленина, Отечественной войны I степени, Красной Звезды и многими медалями.
В 1946 году уволен в запас по состоянию здоровья. Однако в 1948 году о нем вновь вспомнили. В январе по заданию Молотова он вместе с Судоплатовым выезжал в Прагу. С учетом того, что Зубов в предвоенные годы имел связи с Бенешем, перед ним была поставлена задача убедить чехословацкого президента поручить лидеру компартии Чехословакии Клементу Готвальду сформировать правительство, иными словами, обеспечить бескровную передачу власти в стране коммунистам. Эта задача была разведчиком успешно решена.