В то же время новый нарком пошел на некоторые послабления: в течение 1939 года из лагерей были выпущены 223 тысячи 800 осужденных, из колоний-поселений вернулись 103 тысячи 800 человек. Среди освобожденных были будущий Маршал Советского Союза Константин Рокоссовский, будущий Герой Советского Союза генерал армии Александр Горбатов, вице-адмирал Георгий Холостяков, академик и адмирал Аксель Берг, академик Лев Ландау, ряд бывших сотрудников разведки и контрразведки НКВД.
Однако необоснованные репрессии не прекратились. Были произведены новые аресты и во внешней разведке. Для подготовки смены репрессированным разведчикам Берия объявил призыв в НКВД «лучших комсомольцев». Новые руководители пришли в разведку по партийному набору. Среди них были партийные активисты, выпускники Академии РККА имени М. В. Фрунзе, гражданских вузов. Накануне войны именно эти «новобранцы» в условиях полного разгрома органов внешней разведки воссоздавали ее. Молодые лейтенанты и капитаны, призванные по комсомольскому и партийному наборам во внешнюю разведку, обеспечивали в годы Великой Отечественной войны ее успешную деятельность.
Был среди них и будущий начальник внешней разведки — 32-летний старший майор госбезопасности Павел Фитин, который руководил ее работой все годы военного лихолетья.
В направленном руководству НКГБ отчете о работе внешней разведки в 1939–1941 годах Павел Михайлович Фитин писал:
«К началу 1939 года в результате разоблачения вражеского руководства в то время Иностранного отдела почти все резиденты за кордоном были отозваны и отстранены от работы. Большинство из них затем было арестовано, а остальная часть подлежала проверке. Ни о какой разведывательной работе за кордоном при этом положении не могло быть и речи. Задача состояла в том, чтобы, наряду с созданием аппарата самого отдела, создать и аппарат резидентур за кордоном».
Чтобы восстановить кадровый состав внешней разведки, требовалось организовать специальную подготовку молодых сотрудников. Жизнь диктовала необходимость создания специального учебного заведения, и 3 октября 1938 года нарком внутренних дел издал приказ об организации Школы особого назначения (ШОН) для централизованной подготовки разведывательных кадров.
В воспоминаниях П. М. Фитина, опубликованных после его смерти, по этому поводу говорится:
«В соответствии с решением Центрального Комитета партии от 1938 года “Об улучшении работы Иностранного отдела НКВД” нам пришлось значительно перестраивать деятельность разведки.
Данное решение было вызвано создавшимся ненормальным положением в органах государственной безопасности, и в первую очередь в разведке. В 1930-х годах сложилась обстановка недоверия и подозрительности ко многим чекистам, главным образом к руководящим работникам, не только центрального аппарата, но и резидентур Иностранного отдела за кордоном. Их обвиняли в измене Родине и подвергали репрессиям. В течение 1938–1939 годов почти все резиденты ИНО за кордоном были отозваны в Москву и многие из них — репрессированы.