Замена устной традиции фиксированными записями поучений и преданий шла параллельно с формированием христианской церковной организации. Во II в. наряду с бродячими проповедниками и пророками, переходившими с места на место, а потом и вместо них главенствующее положение в христианских общинах заняли постоянные их старосты — пресвитеры. Несколько общин объединялись под руководством епископов («надзирателей»).
Руководители христианских общин были и духовными «пастырями» верующих: им приходилось высказываться по вопросам вероучения, выбирать для чтения в собраниях христиан отрывки из тех или иных «священных» книг. А во II в. этих книг становилось все больше, причем многие из них уже были наполнены сознательной полемикой по отношению к другим таким же книгам. Христианским общинам и их руководителям необходимо было произвести отбор тех сочинений, которые представлялись им правильными, только на эти сочинения ссылаться, только их почитать священными. Без такого отбора никакого, даже внешнего, единства не осталось бы между отдельными христианскими общинами. Чем бы они тогда отличались от многочисленных разрозненных союзов почитателей различных средиземноморских божеств?
Отбор писаний был процессом длительным и сложным. Христианские богословы, епископы разных областей высказывали свое мнение в защиту тех или иных книг. Уже упомянутый выше Ириней в книге «Против ересей» защищал четыре новозаветных евангелия и осуждал все остальные.
Но отбор не был только делом рук нарождающегося церковного аппарата. Большую роль играла традиция почитания отдельных сочинений, а эта традиция в разных областях была различной.
Некоторые деятели христианства стремились вообще избавиться от множественности «священных» книг и ввести одно евангелие — единственный источник сведений о Христе и его учении. Так, христианский писатель II в. Татиан создал евангелие «Диатессарон» («По четырем»), где он свел основное содержание четырех затем вошедших в канон евангелий, устранив противоречия, добавив к ним кое-какой материал из одного из самых древних неканонических евангелий — Евангелия евреев. В конце 30 — 40-х годов II в. среди римских христиан выдвигается некто Маркион, приехавший в Рим из Малой Азии. Страстный противник иудаизма, выступавший за полный разрыв христианства с иудейской религией, Маркион предлагал почитать священными только десять посланий Павла и сокращенный (по сравнению с новозаветным) вариант Евангелия от Луки (в этом варианте отсутствовали сказания о рождении Иоанна Крестителя и Иисуса).