Дело кончилось тем, что Азеф и Савинков оказались в отставке, Боевую Организацию было решено отпустить, но от террористических акций не отказываться, для чего и были созданы два петербургских боевых отряда Штифтаря и «товарища Беллы».
Уход в отставку совпал для Азефа с тяжелой болезнью — у него образовался нарыв в горле. Трудно сейчас сказать, насколько болезнь была действительно опасна, по Азеф постарался взять с ее помощью психологический реванш — члены ЦК наперегонки спешили навестить «умирающего» и «обиженного» ими соратника и готовились чуть ли не к общепартийному трауру. Но выражения раскаяния у его «смертного одра» было Азефу мало, он и на этот раз решил рассчитаться с теми, кто ого «предал», с помощью полиции.
Любопытно вспоминает о тех днях уже упоминавшаяся Валентина Попова.
«Опасность для жизни больного скоро миновала, — пишет она, — и я увидела Ивана Николаевича (Азефа), когда ему было уже лучше. На дверях его комнаты висело объявление: «Здесь больной, просим соблюдать тишину»... В один из таких моментов зашла к Ивану Николаевичу и я. Он указал мне на ящик маленького столика около кровати и сказал, правда, еще хрипло и с трудом:
— Там два женских паспорта. Один вы можете взять, — выберите себе, какой более подходит.
Я взяла паспорт на имя Анны Казимировны Янкайтис. Конечно, в этот момент я и не подозревала, какую опасность для меня представляла эта «товарищеская» услуга Азефа. Я чувствовала на себе его упорный, гнетущий взгляд. Было какое-то недовольство и раздражение в этом взгляде, для меня столь непривычном. Он был мне непонятен. «Что же, неужели он так раздражен на то, что мы не признали его аргументов и без него решаемся продолжать работу?» — думалось мне после этого визита».
Новыми паспортами Азеф снабдил и еще нескольких ослушников — список их имелся у Герасимова, по чьему приказу эти документы и были изготовлены охранкой.
Первые удачи в «походе против БО» несколько усыпили бдительность Герасимова. Он разрешил Азефу, формально уже развалившему Боевую Организацию, отправиться на отдых и лечение в Италию. Соратникам же по партии Азеф, объясняя свой «уход в отпуск», заявлял:
— Я со времен Гершуни в терроре и имею право на отдых.
В Аляссио, на итальянской Ривьере, он жил по-барски, заботливо опекаемый женой, твердившей знакомым, что муж ее крайне нуждается в этом, «ведь он все время с веревкой на шее ходит». Сам Азеф любил поговорить в кругу русских эмигрантов о своей тяжелой жизни «вечно травимого полицией революционера-террориста». Между такими «беседами по душам», бурными кутежами и наездами для встряски в игорные заведения Монте-Карло он старательно информировал Герасимова о том, что ему удавалось разнюхать в кругах революционной эмиграции. Сообщал он также и Герасимову, и членам ЦК, что изучает новые возможности осуществления террористических организаций с помощью новейших технических достижений. Писал он, в частности, что обнаружил за границей талантливейшего русского инженера-самородка — Сергея Ивановича Бухало, разработавшего летательный аппарат, который возможно использовать в операциях террористов.