На молодого, способного красноармейца обратили внимание чекисты Особого отдела Южного фронта, и в 1920 году по их рекомендации он был направлен на работу в органы ВЧК. Здесь Василий продолжает борьбу с бандитами, проявляя оперативную смекалку, находчивость, умение самостоятельно действовать в сложной обстановке. В 1923 году руководство ГПУ при НКВД РСФСР приняло решение назначить его начальником экономического отдела ГПУ во Владивостоке. Зарубину было поручено организовать борьбу с контрабандой наркотиков и оружия.
В те года международные торговцы оружием и наркотиками направляли свои «товары» в Европу и Китай через Владивосток, Здесь они перегружали свой смертоносный груз и направляли его дальше по железной дороге как транзитный. Это позволяло им избегать строгого таможенного контроля, поскольку транзитные грузы не досматривались.
Подобные махинации международных торговцев оружием были вскрыты чекистами под руководством Зарубина. В 1924 году ими была конфискована большая партия оружия и боеприпасов, предназначавшаяся для враждовавших между собой китайских генералов.
В том же году по решению руководства контрразведки Зарубин из Владивостока был командирован в Китай для выполнения ответственного поручения, связанного с работой по белогвардейской эмиграции. В Китае он находился под прикрытием технического сотрудника советского генконсульства в Харбине. Задание было успешно выполнено, а на молодого чекиста, умеющего завязывать оперативные связи с иностранцами, обратило внимание руководство закордонной разведки органов госбезопасности. Тем более к тому времени он уже прилично владел французским, немецким и английским языками.
Уже в 1926 году Василий Зарубин был направлен руководителем «легальной» резидентуры в Финляндию, где скопилось большое количество белогвардейских эмигрантских организаций. Разведчик быстро освоился с обстановкой, и в Центр регулярно стала уходить секретная информация о планах белогвардейцев и их покровителей против нашей страны.
В 1927 году британские власти, использовав в качестве предлога сфабрикованную белогвардейцем В. Орловым фальшивку— так называемое «письмо Зиновьева Коминтерну» (скандальная фальсификация — письмо от сентября 1924 года, якобы направленное тогдашним председателем Исполкома Коминтерна Зиновьевым в адрес ЦК Компартии Великобритании с установками о «провозглашении курса на вооруженную борьбу с британской буржуазией». — Примеч. авт.), разорвали дипломатические отношения с СССР. Руководство Иностранного отдела приняло решение сделать акцент на ведении разведки в европейском регионе с нелегальных позиций. В связи с этим Зарубин был отозван в Москву и сразу же направлен в Данию в качестве резидента нелегальной резидентуры.