В ходе конклава главным противником Ронкалли был кардинал Тиссеран. Но на четвертый день работы конклава венецианский патриарх получил 36 голосов из 51, на один голос больше, чем требовалось для избрания. Когда кардинал Канали объявил имя нового папы, он вызвал этим всеобщее удивление. Однако все считали, что Иоанн XXIII (1958–1963) будет «кратковременным» папой. Приверженцы консервативного направления, во всяком случае, добились того, что папа Иоанн избрал своим статс-секретарем бывшего при Пие XII заместителем статс-секретаря кардинала Доменико Тардини. (Пока жив был Тардини, то есть до 1961 года, в церковном управлении не было осуществлено никаких радикальных изменений.)
Ронкалли взял себе имя Иоанна XXIII; Иоанном звали его отца, и это простое народное имя было привлекательно для него. Большинство пап в истории папства пользовались этим именем. При выборе имени он словно намекал на то, что папы Иоанны были известны своим недолгим понтификатом, что и он предполагает недолго оставаться на престоле и не намерен возвращаться к понтификату ни одного из своих предшественников Нового времени. (Папу времен Пизанского собора, свергнутого в Констанце в XV веке, — Иоанна XXIII, официальная римская точка зрения объявила незаконным антипапой.)
Иоанн XXIII стал совершеннейшей противоположностью своему предшественнику. Выходец из простой крестьянской семьи, Ронколли был добродушным и веселым человеком, который и на папском престоле сохранял простоту, мудрость и человечность итальянских крестьян окрестностей Бергамо. Его родственники и во время его понтификата продолжали заниматься своей основной профессией; из всей большой семьи только один его племянник стал священником, но он и близко не был к курии. Непотизм при папе Ронкалли действительно сошел в могилу. Окончив простую сельскую школу, будущий папа познал всю тяжесть учебы, когда крестьянскому юноше приходилось испытывать большие материальные трудности, и для него был открыт, по существу, только один путь: церковная стезя. Получив стипендию, он смог поехать в Рим для продолжения духовного образования. Здесь он избегал иезуитов, но и модернизм не оказывал на него никакого влияния. В 1904–1914 годах он был секретарем епископа Бергамо. В 1915 году его призвали на военную службу, сначала санитаром, а затем в качестве полевого священника; только в конце первой мировой войны, в декабре 1918 года, он был демобилизован.
В 1921 году Ронкалли получил приглашение в Конгрегацию пропаганды веры и был назначен папским прелатом. В 1925 году Пий XI командировал его в Болгарию апостольским визитатором с одновременным назначением титулярным архиепископом. С этого времени началась его 20-летняя служба на Балканах. В Болгарии его задачей было сформирование католической иерархии. А при заключении брака болгарского царя Бориса III с итальянской эрцгерцогиней Йоландой Ронкалли должен был способствовать тому, чтобы посредством этого династического брака привязать Болгарию в политическом отношении к Италии, а в религиозном отношении — к католическому Риму. Последнее априори было невозможным, и все же визитатор потерял благосклонность Ватикана. Хотя его и повысили в должности, произведя в апостольские делегаты, о нем позабыли, так и оставив его на Балканах.