В связи с острой нехваткой разведывательных кадров, когда в отделениях 5-го отдела ГУГБ НКВД порой не было ни одного сотрудника, в конце того же года П.М.Фитин назначается заместителем начальника этого отдела, а в 1939 году возглавляет внешнюю разведку органов госбезопасности. В должности начальника внешней разведки работал до 1946 года.
Несмотря на молодость П.М.Фитина, которому к моменту назначения на руководящий пост исполнилось всего тридцать один год, выбор начальника разведки органов государственной безопасности оказался правильным. Его высокий интеллект и выдающиеся организационные способности особенно ярко проявились в годы Великой Отечественной войны.
В предвоенный период, получая от источников резидентур за рубежом информацию о том, что Германия готовится к нападению на СССР, П.М.Фитин только с января по 21 июня направил Сталину свыше ста разведывательных донесений. Из них следовало, что война стоит на пороге нашего дома, и необходимо предпринимать срочные меры по укреплению обороноспособности страны.
Берия, стремившийся угодить "хозяину", искал предлога для того, чтобы убрать строптивого начальника разведки, и только разразившаяся война спасла П.М.Фитина от неминуемого расстрела.
Возглавляя внешнюю разведку в годы войны, комиссар госбезопасности 3-го ранга Фитин сделал все зависящее от него для того, чтобы обеспечить политическое руководство страны достоверной политической информацией о стратегических замыслах германского командования, сведениями о перспективах открытия "второго фронта" в Европе, документальными материалами о планах союзников СССР по антигитлеровской коалиции в послевоенный период.
В частности, в 1943 году от агента лондонской резидентуры Бланта был получен перехваченный британской разведкой план германского наступления на Курской дуге, что позволило советскому командованию предпринять необходимые контрмеры и разгромить врага.
Возглавляемая П.М.Фитиным внешняя разведка внимательно отслеживала и регулярно информировала Кремль о сепаратных переговорах А.Даллеса с гитлеровцами в Швейцарии.
Важный вклад принадлежит П.М.Фитину в овладение Советским Союзом секретами ядерного оружия. По заданию Центра еще в сентябре 1941 года агент лондонской резидентуры Д. Маклейн сообщил о ведущихся в Великобритании и США работах по созданию атомной бомбы. В июле 1943 года решением ГКО на возглавляемую П.М.Фитиным разведке органов госбезопасности была возложена задача по получению на регулярной основе всей информации по атомной проблеме. В результате к концу 1945 года от резидентур в Англии, США и других странах была получена необходимая документальная информация, позволившая нашей стране в кратчайший срок создать собственное ядерное оружие и тем самым положить конец монополии США в этой области.