Нападение на Афамию, несмотря на многообещающее начало, не увенчалось успехом. Неподалеку оказался правитель Антиохии крестоносец Танкред, который воспользовался случаем, чтобы напасть на Афамию. По-видимому, он был хорошо информирован о положении дел и привез с собой пленника – брата Абу ль-Фатха из Сармина. Сначала он довольствовался тем, что взял дань с ассасинов и оставил их владеть крепостью, но в сентябре того же года вернулся и блокадой заставил город сдаться. Абу ль-Фатх из Сармина был схвачен и умер в пытках; Абу Тахир и его спутники были взяты в плен, затем за них выплатили выкуп, и они возвратились в Алеппо.
Это первое столкновение ассасинов с крестоносцами и срыв их тщательно продуманного плана правителем-крестоносцем, по-видимому, не переключили их внимание от целей мусульман на христиан. Свою главную борьбу они все еще вели против хозяев страны, а не врагов ислама. Их ближайшей целью был захват опорного пункта у любых его владельцев, а более далекой – удар по власти сельджуков в любом месте, где появится шанс.
В 1113 году они добились своего самого большого успеха на тот момент: в Дамаске был убит Мавдуд – сельджукский эмир Мосула, командующий восточной экспедиционной армией, которая пришла в Сирию будто бы для оказания помощи сирийским мусульманам в их борьбе с крестоносцами. Для ассасинов такая экспедиция представляла явную опасность. И они были не одиноки в своих опасениях. В 1111 году, когда Мавдуд со своей армией достиг Алеппо, Рыдван закрыл перед ними ворота города, и ассасины пришли к нему на помощь. Слухи того времени, записанные и христианскими, и мусульманскими источниками, наводят на мысль, что убийство Мавдуда было совершено с поощрения мусульманина-регента Дамаска.
Опасность для ассасинов со стороны сельджуков с востока стала очевидной после смерти их покровителя Рыдвана 10 декабря 1113 года. Деятельность ассасинов в Алеппо делала их все более непопулярными среди городских жителей, и в 1111 году провалившаяся попытка покушения на жизнь богатого перса с Востока, известного своими антиисмаилитскими взглядами, привела к вспышке народного негодования против них. После смерти Рыдвана его сын Алп-Арслан сначала продолжил политику своего отца и даже уступил им замок, расположенный по пути в Багдад. Но вскоре последовала реакция. В письме, посланном Алп-Ар-слану, Великий султан сельджуков Мухаммед предупредил его об угрозе, которую представляли собой исмаилиты, и убеждал его уничтожить их. В городе лидер горожан и командир народного ополчения Ибн Бади проявил инициативу и уговорил правителя принять против них жесткие меры. «Он арестовал Абу Тахира, золотых дел мастера, и приказал убить его, а также даи Исмаила и брата „врача-астролога“ и лидеров этой секты в Алеппо. Он арестовал около двухсот из них, некоторых бросил в тюрьму и конфисковал их имущество. За некоторых заступились, и они были освобождены; других сбросили со стен цитадели, третьих убили. Некоторые бежали и рассеялись по стране».