В начале 1892 г. на него пало подозрение в распространении одной революционной прокламации. На очереди стоял вопрос об его аресте. Он, по-видимому, догадывался об этом: ряд знакомых уже был арестован. Похоже, что угроза ареста была последним толчком, заставившим его уехать заграницу, куда его и без того тянула жажда ученья, без которого, как он видел, невозможно было выбиться к лучшей жизни. Препятствием было отсутствие денег, но Азеф перешагнул через него: щепетильностью в отношении к чужим деньгам он никогда не отличался, - мелочами это сказывалось еще в годы гимназии. Теперь он только сделал шаг к более крупному: в качестве комиссионера он взял у какого то мариупольского купца партию масла для продажи, выручил за нее 800 рублей и уехал с ними весною 1892 г. в Германию, в Карлсруэ, где поступил в политехникум.
В Карлсруэ уже тогда существовала небольшая колония русской учащейся молодежи. - Среди них был ряд знакомых Азефа по Ростову. Азеф вошел в их среду. Поселился на одной квартире, со студентом-ростовцем Козиным, - на четвертом этаже в доме No 30 по Вердерштрассе. Вошел в русский социал-демократический кружок. Старательно изучал электротехнику. Но очень скоро встал вопрос материальный. 800 рублей по тем временам были большими деньгами, но на долго их хватить не могло, - тем более, что, по некоторым указаниям, они не все остались в руках Азефа. Возможность заработков была не велика. На помощь от родных надеяться не приходилось. Азеф бедствовал, производя на встречных впечатление человека "буквально терпящего голод и холод". Долго так существовать он не мог, - и он еще раз с большой легкостью "перешагнул" через еще одно препятствие морального порядка: начал поторговывать теми секретами о революционной деятельности своих товарищей, которые ему были известны. Секреты эти были невелики, но ведь времена тогда были вообще глухие, крупных революционных событий совсем не было, и Азеф не без основания надеялся, что сообщаемые им мелочи заинтересуют полицию.
4 апреля 1893 г. он написал свое первое письмо в Департамент Полиции. Это письмо носило характер предварительного прощупывания почвы. "Сим имею честь заявить Вашему Высокопревосходительству, - писал он, - что здесь месяца два назад образовался кружок лиц-революционеров, задающихся целью" - и т. д. Далее назывался ряд имен, приводились некоторые факты, которые должны были показать, что автор письма может быть полезен в деле осведомления как о революционных настроениях русского студенчества заграницей, так и о пропаганде в Ростове. Никаких конкретных предложений относительно будущего в письме не имелось. Автор просил только в случае, если его сведения окажутся полезными, уведомить его заказным письмом по условному адресу: настоящей своей фамилии он не называл. Процедура приглашения нового агента на службу Департамента, была в то время очень сложной. Письмо Азефа было доложено вице-директору Департамента, от него перешло к заведующему соответствующим делопроизводством. На оригинале письма сохранился ряд пометок: о нем совещались, собирали справки. Только 16 мая собрались ответить. Ответ выдержан в стиле коммерсанта, который не прочь пойти на предлагаемую сделку, но в то же время боится выдать, что она его сильно интересует: "о кружке в Карлсруэ, - писал Департамент, нам известно (на самом деле о нем почти ничего известно не было) и большого интереса он для нас не представляет; поэтому особенно дорожиться вам не приходится, но все же платить мы готовы, - только, прежде всего "назовите себя", так как мы - люди с твердыми принципами и "с неизвестными людьми мы сношений не ведем".