Подобное поведение, конечно же, не могло не шокировать социалистов-революционеров. Но на рядовых членов партии Азеф давно уже смотрел свысока, не скрывая своего презрения к «этим оборванным революционерам». Когда же о его скандально-вызывающем поведении пытался робко заикнуться кто-нибудь из членов ЦК, то в ответ звучала лекция о том, что необходимо делать для конспирации, особенно при таком ответственном деле, как подготовка покушения на царя. Говорилось при этом, что госпожа Н., как известно, близка к царской фамилии, и через нее поступает информация, необходимая при подготовке покушения.
Кого-то это, может быть, и убеждало, но большинство все сильнее начинало задумываться, почему главу Боевой Организации, ведущего такой вызывающе открытый образ жизни, полиция не трогает, и это при том, что ей не может не быть известно через многочисленных провокаторов, внедренных в ПСР, об истинной роли Ивана Николаевича в Партии социалистов-революционеров. Удивлялись этому и филера, неоднократно являвшиеся к Герасимову с предложением арестовать так беспечно подставлявшегося главаря террористов.
Дело дошло до того, что Герасимов принялся «по-дружески» уговаривать «милейшего Евгения Филипповича» изменить образ жизни и уйти в тень, но Азеф, как говорится, словно с цепи сорвался, решив, что «время собирать камни» прошло и наступило «время бросать камни».
Он жаловался Герасимову на нервы, на усталость, говорил, что за пятнадцать лет службы заслужил себе наконец право на отдых и нормальную человеческую жизнь. Герасимов относился к этому с пониманием и соглашался отпустить Азефа на «заслуженный отдых», вот только пусть он доведет дело до конца и совсем развалит подготовку покушения на царя.
И все же в какой-то момент инстинкт самосохранения сработал: заложив в ломбард обстановку квартиры, в которой он жил вместе с «прекрасной Хедди», и ликвидировав все свои финансовые дела в России, Евгений Филиппович вдруг уехал весной 1908 года за границу, увезя туда же и даму своего сердца. Правда, он вскоре вернулся — вместе с Хедди, с которой поселился в Петербурге, как всегда, в дорогом отеле. Прописались они как муж и жена. В России Азеф находился до июня 1908 года, помогая Герасимову сорвать подготовленную эсерами операцию по взрыву царского поезда и покушение на царя в Ревеле. А затем поставил вопрос о своем уходе с полицейской службы уже всерьез. С Герасимовым они расстались как друзья. На прощание Азефу было вручено Герасимовым несколько паспортов на разные имена, выплачено причитающееся жалование и обещана выплата на будущее — уже в виде пенсии за более чем пятнадцатилетнюю службу в Департаменте. Азеф же со своей стороны обещал снабжать Департамент по мере возможности политической информацией из-за границы. С террором же он, как сказали бы сегодня, завязал.