В 1934 году он стал апостольским викарием Турции и Греции. В бывшем когда-то греко-православной столицей Константинополе, нынешнем Стамбуле, он должен был представлять интересы католической церкви. Греко-турецкие противоречия в мусульманском окружении еще больше осложняли его миссию. В 1937 году он перенес свою резиденцию в Афины и здесь оставался и в годы немецкой оккупации. Когда папой стал Пий XII, Ронкалли имел все основания ждать, что тот вернет его в Рим. Но руководители курии, вероятно Тардини и Монтини, решили, что будет лучше, если Ронкалли останется на своем посту. Тем временем эта балканская позиция и впрямь стала весьма важной для папской дипломатии, и папа был заинтересован в том, чтобы там находился человек, хорошо знающий местные условия.
Наряду с дипломатическим опытом 20-летняя миссия Ронкалли на Балканах сделала его по-настоящему терпимым к отколовшимся христианам, к людям и народам другой веры. (Насколько иным был этот «багаж», чем для Пачелли атмосфера баварской столицы, а затем и Берлин с его прусским духом!) В глазах же Пачелли Ронкалли был не кем иным, как «балканским крестьянином» ватиканской дипломатии. Наряду со сказанным балканская «ссылка» имела еще одно большое преимущество: Ронкалли стоял в стороне от сотрудничества с фашизмом, от пийского духа курии.
Вновь он стал нужен тогда, когда дипломатия Пия XII потерпела фиаско: 23 декабря 1944 года Ронкалли был назначен папским нунцием в Париже. Его предшественник был прикомандирован Святым престолом к правительству Петена — и де Голль объявил его персоной нон грата. Де Голль потребовал, чтобы папа лишил сана и должностей 33 французских епископов, которые были известны своим коллаборационизмом с фашистами. Для погашения конфликта нужен был новый нунций. Посредничество Ронкалли увенчалось успехом: большинство епископов смогло остаться на своих постах.
Нунций Ронкалли не вмешивался во французскую политику. Консервативные французские политики косо смотрели на то, что нунций поддерживает хорошие отношения с лидерами левых сил Ориолем и Эррио. Ему вменяли также в вину, что он не вмешивался в дискуссию вокруг священников-рабочих. В то же время Ронкалли завоевал себе симпатии прогрессивных французских католиков. Так, например, когда в июне 1950 года умер Марк Сангье, бывший лидер христианских демократов «Силлона» и Франции, нунций в теплом письме выразил свое соболезнование его вдове.
С 1951 года Ронкалли стал также представителем Святого престола при ЮНЕСКО. Летом 1952 года Пий XII после долгих колебаний вынужден был дать Ронкалли сан кардинала (который, вообще говоря, положен был каждому, занимающему пост парижского нунция). В соответствии с установившимися традициями кардинальский берет вручал нунцию президент Французской Республики. В то же самое время Ронкалли получил из рук президента-социалиста Ориоля Большой крест ордена Почетного легиона. Однако повышение в ранге было предвестником освобождения от должности нунция. Вскоре Пий XII назначил Ронкалли патриархом Венеции, куда он и прибыл в марте 1953 года.