Тем временем вокруг Григория собирались тучи. Недовольные тем, что он ведет свою игру, не желая служить ничьим интересам, и при этом имеет огромное влияние на царя и особенно царицу, высокопоставленные господа открывают компанию против Распутина. Не указывая истинных причин, они ссылаются на свое возмущение тем, что проходимец и конокрад вхож в царские покои, компрометирует государей и само самодержавие.
Многие вчерашние покровители и ходатаи за него отворачиваются и превращаются во врагов.
Так великий князь Николай Николаевич на одно из прошений Распутина дал ответ: «Удовлетворяю в последний раз. В случае присылки новых прошений вышлю в Сибирь». А когда Распутин высказал пожелание приехать в Ставку (это было уже во времена, когда Николай Николаевич был главнокомандующим), великий князь ответил: «Если приедешь – велю тебя повесить».
Фортуна медленно, но неотвратимо отворачивается от Распутина. На него открывают настоящую травлю, обложив, как волка флажками, яростью газетных публикаций, слухов и сплетен о его беспробудном пьянстве, сексуальной распущенности, разврате и блуде. При этом постоянно подчеркивается его близость к царской семье.
Илиодор решает, что пора выступать на другой стороне. Он заранее приготовил памфлет под названием «Гришка», написанный, надо сказать, ярко, хотя и яростно. Есть версия, что руку к этому памфлету приложил небезызвестный писатель-фельетонист Амфитеатров.
Но до публикации решено было заставить Григория раскаяться, признать свои грехи и покинуть дворец. Для этого собрались в Ярославском подворье, где жил епископ Гермоген. Кроме самого Гермогена и конечно же Илиодора, были журналист-черносотенец Родионов и обиженный «отставкой» Митя Козельский. Распутина заманили обманом, сказав, что с ним желает увидеться Гермоген. Распутин настолько доверял Илиодору, что ничего не заподозрил и поехал. И только на самом подворье, когда в прихожей его встретили издевками, начал о чем-то догадываться, но было поздно – вырваться и убежать невозможно – в дверях стоял Илиодор, мужчина огромного роста, с пудовыми кулаками. Что произошло далее, описывает сам Илиодор: «Исторический час наступил. Гермоген, я и все свидетели собрались в парадную комнату. «Старец» сел на большой диван. Митя, прихрамывая и помахивая отсохшею рукою, ходил взад и вперед около Григория. Все молчали. А потом произошло. нечто невероятное, смешное, но в то же время и ужасное. Митя с диким криком: «А-а-а! Ты – безбожник, ты много мамок обидел! Ты много нянек обидел! Ты с царицею живешь! Подлец ты!» – начал хватать «старца». Распутин попятился назад к дверям. а Митя. тыкая ему пальцем в грудь, еще громче, еще неистовее кричал: «Ты с царицею живешь! Ты – антихрист!» И тогда Гермоген в облачении епископа взял в руку крест и сказал: «Григорий, пойди сюда!..» Распутин приблизился к столу… трясясь всем телом, бледный, согнувшийся, испуганный. Гермоген, схватив «старца» кистью левой руки за череп, правою начал бить его крестом по голове, и страшным голосом. кричать: «Дьявол! Именем Божьим запрещаю тебе прикасаться к женскому полу. Запрещаю тебе входить в царский дом и иметь дело с царицей, разбойник! Как мать в колыбели вынашивает своего ребенка, так и Святая Церковь своими молитвами, благословениями, подвигами вынянчила великую святыню народную – самодержавие царей. А теперь ты, гад, губишь, разбиваешь наши священные сосуды – носителей самодержавной власти. Побойся Бога, побойся этого животворящего креста!»»