Союз Аргунова говорил о терроре только теоретически, и Азеф по просьбе Зубатова, очень хотевшего стать действительным статским советником, призвал московских революционеров к практическим действиям, заявляя, что в политической борьбе это главное. О «Северном союзе социалистов-революционеров» Зубатов знал почти все, но терактов не дождался и поэтому арестовал их типографию в Томске и почти тридцать членов Союза. Аргунов спасал остатки своей организации и со дня на день ждал ареста. Благодаря Зубатову около него остался только Азеф, которого Аргунов считал осторожным, не трусливым и осмотрительным человеком. Волна московских арестов почему-то Азефа не затронула, и Аргунов решил сделать его своим дублером. Сам Аргунов позднее писал: «Мы поручили Азефу все, как умирающий на смертном одре. Мы рассказали ему все наши пароли, все без исключения организационные и литературные связи, всех людей, все фамилии и адреса, и заочно отрекомендовали его своим близким. За границей он должен был явиться с полной доверенностью от нас, как представитель Союза, рядом с нашей Марией Селюк. Чувство к нему было товарищеское, пожалуй, даже чувство дружбы. За эти дни арестов и несчастий его активная помощь сдружила нас».
Азеф уехал за границу на переговоры об объединении всех имперских эсеров, и через десять дней после его отъезда Зубатов взял Аргунова. Зубатов был очень доволен и поднял его жалованье втрое, до пятисот рублей в месяц, столько получал тайный советник, или генерал-лейтенант.
В Берне и Берлине произошло объединение эсеровских групп, определены их программа и тактика. Партию социалистов-революционеров возглавили М. Гоц, Г. Гершуни, В. Чернов, М. Натансон, Е. Брешко-Брешковская, Н. Русанов. Штаб-квартира партии во главе с Брешковской располагалось в Саратове, Чернов и Гоц в Берне и Женеве издавали «Революционную Россию». Гершуни возглавил созданную им в апреле 1902 года Боевую Организацию. Азеф стал его помощником-заместителем и вместе с Гершуни расшифровывал все письма из имперских городов, от местных эсеровских групп. Гершуни заявил Центральному Комитету партии, что первым боевики убьют министра внутренних дел Сипягина. В Боевой Организации при ее создании было 14 членов, ко времени убийства Плеве – 80. она была совершенно автономна и самостоятельна, и из соображений конспирации ее связь с ЦК партии осуществлял только М. Гоц. Гершуни помогали Азеф и Мельников.
О планах по убийству Сипягина Азеф знал все, но Зубатову не докладывал, хотя писал в Департамент полиции часто и подробно: «В Берлине и Париже я попал в центр». Он передал Зубатову, что Гершуни – главный организатор партии, но о Боевой Организации не написал ни слова. Азеф сообщил Зубатову, когда и куда выезжает Гершуни, но несколько раз подчеркнул: «Брать его пока не следует ни под каким видом, и не выпускайте его из глаз». Зубатов понял, что станет, наконец, гражданским генералом, когда выявит все революционные адреса в империи, которые должен был объехать Гершуни.