Христианские богословы и руководители ряда общин начали борьбу с Маркионом. Он был исключен из римской христианской общины, ему даже вернули его взнос. Однако Маркион продолжал свои проповеди. Сила их, при всей ограниченности того круга людей, которым, они адресовались, заключалась в призыве к уходу от мира, призыве, который был противопоставлен не только социальной позиции иудеохристиан, но и стремлению многих христианских деятелей найти пути примирения с государством. С Маркионом велись длительные переговоры. В конце его жизни ему предложили вернуться в общину и вновь обратиться в истинную веру своих сторонников. Но Маркион умер, не успев выполнить это требование.
Учение Маркиона не могло победить, но влияние его, особенно на христианское богословие, было велико. В связи с его критикой Ветхого завета в ряд христианских сочинений были внесены изменения. И кто знает, сколько в посланиях апостола Павла сохранилось фраз, вставленных туда еретиком Маркионом… Попытка Маркиона отобрать из массы христианских книг «истинные» должна была подтолкнуть христианских деятелей к тому, чтобы выработать и согласовать список «священных писаний», определить возможность их использования во время моления в церквах или в домашнем чтении верующих. Вряд ли идея создания канона принадлежала именно Маркиону. Она витала в воздухе, поскольку в богословских и этических спорах христиане ссылались на разные сочинения, именно их почитая истинными. Но Маркион был, несомненно, одним из первых, кто практически попытался осуществить составление канона и тем самым побудил своих противников сделать то же, но с других идейных позиций.
Маркион действовал в рамках римской общины, придерживавшейся того направления в христианском вероучении, которое впоследствии стало господствующим. Но примерно в то же время создаются христианские общины, идейно и организационно обособившиеся от этого направления. Среди таких общин в середине II в. как раз и преобладали объединения гностического толка. Христианские гностики проповедовали прежде всего в восточных провинциях — Египте, Сирии, Малой Азии. По конкретному содержанию учения разных гностических групп отличались друг от друга. Общим для них всех было противопоставление мира духу, признание того, что материальный мир не создание высшего божества — абсолютного блага, а плод ошибки его творца или сознательных действий злых сил. Ничто телесное, мирское не может спастись, только те избранные, в душе которых заложена крупица божественного света, или духа, могут спастись путем интуитивного познания — раскрытия в себе этого духа — пневмы. Пневма не знает о самой себе, ее пробуждение и освобождение от оков телесного и душевного мира и есть гносис — не рациональное познание, а озарение. Это озарение происходит благодаря действию различных посредников между высшими силами и людьми. Гностики-христиане такого посредника видели в Христе (божественном слове, логосе), который пришел спасти, вывести тех, кто принадлежит ему, из низшего мира. Представления об Иисусе у всех этих групп существенно расходились с теми, которые отражены в новозаветных евангелиях. Прежде всего, он никак не мог быть сыном еврейского бога Яхве, которого они называли бессильным или даже злым началом. Были секты, которые почитали все те библейские персонажи, которые в Библии выступают противниками бога. Так, была группа почитателей Каина (по библейскому мифу, Каин — сын Адама — убил своего праведного брата Авеля); была группа почитателей змия — того самого змия, который, согласно Библии, соблазнил Еву съесть запретный плод с дерева познания, что привело к изгнанию первых людей из рая. Члены этой секты считали, что именно змий и был носителем истинного знания.