27 июня 1963 года Павел VI объявил, что следующая, вторая сессия собора будет открыта им 29 сентября. (Сессия продлилась до 4 декабря.) При открытии сессии Павел VI четко определил задачи собора: 1) углубление самопознания (самораскрытия) церкви; 2) обновление внутренней жизни церкви; 3) продвижение вперед дела единства христиан (экуменизм); 4) диалог с миром (осмысление внешней миссии церкви).
Одновременно он закрепил давнее пожелание папы Иоанна о том, что собор не должен принимать никаких решений, которые претендовали бы на пастырскую (наставническую) непогрешимость.
Вторая сессия собора проходила под непосредственным руководством Павла VI. На обсуждение были вынесены три проекта (схемы) решения: о церкви, о епископах и об экуменизме. Разногласия между прогрессистами и консерваторами были исключительно острыми, и к концу октября собор зашел в тупик. Проекты решений вновь вернули в комиссии. Вполне ощутимым результатом сессии было почти единогласное принятие на последнем заседании, 4 декабря 1963 года, переработанных тем временем регламентирующих документов о святой литургии («Sacrosanctum concilium»), а также декрета о средствах массовой информации («Inter mirifica»), которые были затем провозглашены Павлом VI. Для осуществления зафиксированных в обоих документах решений папа создал в начале 1964 года две комиссии.
Во время дискуссии на соборе по вопросу экуменизма Павел VI объявил, что едет в Святую землю, в Палестину и Иерусалим. Это посещение папы, состоявшееся в начале января 1964 года, было первой со времени вынужденного пребывания Пия VII во Франции поездкой пап за пределы Италии. В Палестине арабы весьма радушно принимали папу Павла VI; тем более холодным оказался его прием в Израиле. Выдающимся событием экуменизма явилась встреча в Иерусалиме Павла VI и Вселенского патриарха Афинагора и их взаимные объятия. Иерусалим мог бы действительно быть символом взаимопонимания и диалога: ареной встречи иудейской, христианской и магометанской религий. В целях стимулирования диалога Павел VI создал в мае 1964 года Секретариат по делам нехристианских религий.
Третья сессия собора проходила между 14 сентября и 28 ноября 1964 года. Эту сессию можно рассматривать, по сути дела, поворотным пунктом собора. Папа решительно вмешался в ход обсуждений, высказавшись, в частности, против слишком рьяных реформистов. Он дал им понять, что предпосылкой дальнейшей дискуссии должно быть окончательное формулирование и принятие догматической конституции «О церкви». В центре дискуссии стоял вопрос о коллегиальном участии епископов в церковном управлении. Число увидевших в том угрозу для папского примата и проголосовавших против превысило 300! Самый значительный документ собора, догматическая конституция «О церкви» («Lumen gentium»), был принят на последнем общем заседании собора 21 ноября. Конституция вместо понятия «торжествующая церковь» вводила понятие «церковь на службе». Вводился институт коллегиального участия епископов в управлении церковью посредством активизации епископского синода. Наряду с тем, что неприкосновенными остались основные устои церкви, неизменным сохранился и такой, исторически напластовавшийся институт, как, например, целибат.