Самым значительным событием в истории католической церкви был, несомненно, II Ватиканский собор (1962–1965), открывший новую эпоху в истории папства. По взглядам Иоанна XXIII, осуществление внутренней реформы — прерогатива не одного папы, но и вселенского собора. Генеральной репетицией вселенского собора стало заседание синода римской епархии, проходившее между 24 и 31 января 1960 года. Папа пожелал, чтобы этот местный собор выросшего до уровня митрополии Рима скорректировал пастырскую работу применительно к изменившимся условиям. Это было первым случаем в истории города, чтобы епископ Рима, папа, спрашивал на соборе мнение духовенства. Духовно-пастырская деятельность большого города требовала современной церкви; таким образом, римский синод стал моделью готовящегося вселенского собора.
После внезапного объявления о созыве вселенского собора Иоанн XXIII уже больше не колебался. 17 мая 1959 года он назначил первую комиссию по подготовке собора. Папа призвал епископов католической церкви, монашеские ордена, университеты внести свои предложения по повестке дня собора, по проблемам, подлежащим обсуждению на нем. 5 июня 1960 года папа по своей инициативе создал центральную подготовительную комиссию собора, которой подчинил десять профилированных комиссий и два секретариата, в задачу которых входила разработка проекта решений собора с учетом мнений, высказанных в огромной массе поступающих предложений. Комиссии под строгим контролем курии составили 73 проекта решений собора, которые были одобрены Центральной комиссией.
Папа нетерпеливо торопил, стремясь ускорить подготовку собора. Одной из причин этого было, несомненно, то, что уже тогда он уже был тяжело болен и знал о своем заболевании раком. Другой, пожалуй, еще более серьезной причиной было его намерение помешать курии саботировать собор. А целью консервативного направления, ссылавшегося на необходимость основательно подготовиться к собору, было поставить его — так же как в свое время сделал Пий IX — перед свершившимся фактом и низвести собор до уровня послушной машины голосования.
25 декабря 1961 года Иоанн XXIII своей апостольской конституцией «Humanae salutis» созвал собор, одновременно объявив I Ватиканский собор закрытым. Принципиальное значение этого акта состояло в том, что тем самым папа воспрепятствовал стремлению интегристов рассматривать этот собор как продолжение I Ватиканского и на этом основании проводить его в прежнем духе. На собор папа пригласил также и отколовшиеся христианские церкви. Открытие собора папа своим решением от 2 февраля 1962 года («Concilium») назначил на 11 октября 1962 года.