10 июля 1934 года постановлением ЦИК СССР был образован Народный комиссариат внутренних дел (НКВД), в который вошли ряд главков, в том числе Главное управление государственной безопасности (ГУГБ). Иностранный отдел стал 5-м отделом ГУГБ НКВД СССР. Его задачи правительство определило следующим образом: «Выявление направленных против СССР заговоров и деятельности иностранных государств, их разведок и генеральных штабов, а также антисоветских политических организаций; вскрытие диверсионной, террористической и шпионской деятельности на территории СССР; руководство деятельностью закордонных резидентур».
Несмотря на обрушившиеся на разведку репрессии, она продолжала вести активную работу по освещению деятельности правящих кругов ведущих капиталистических стран Европы, США и Японии и частичному срыву их планов и мероприятий, направленных против СССР.
Немало полезного сделала советская разведка в эти годы в Испании. Она систематически получала сведения о поддержке франкистов Германией и Италией. В соответствии с личным указанием Сталина разведка организовала переброску в Испанию нескольких сотен советских добровольцев-интернационалистов. Этот контингент интербригадовцев с большой отдачей использовался в качестве инструкторов военного дела в учебных центрах, руководителей разведывательно-диверсионных групп, бойцов охраны важных объектов, а также военных переводчиков. После падения республиканского правительства советские разведчики способствовали спасению от неминуемой физической расправы многих бойцов и командиров интернациональных бригад.
За образцовое и самоотверженное выполнение заданий по оказанию помощи республиканской Испании постановлением ЦИК СССР 13 ноября 1937 года группа сотрудников НКВД была отмечена орденами. Среди них были и сотрудники внешней разведки. Орденом Ленина были награждены Г. С. Сыроежкин, К. П. Орловский и Я. И. Серебрянский, орденом Красного Знамени — Н. И. Эйтингон и Н. А. Прокопюк, орденом Красной Звезды — А. М. Рабцевич.
3 октября 1938 года нарком внутренних дел издал приказ о создании Школы особого назначения (ШОН) для централизованной подготовки разведывательных кадров. Слушатели школы набирались в основном из гражданских лиц, имеющих высшее образование. Первым начальником ШОН был В. Х. Шармазанашвили. С помощью оперативных работников центрального аппарата внешней разведки, за плечами которых были многие годы напряженной и результативной деятельности за границей, руководству школы удалось в сжатые сроки организовать учебный процесс. Первыми преподавателями ШОН были П. М. Журавлев, В. М. Зарубин, В. И. Пудин, П. А. Судоплатов и другие опытные разведчики. Первые выпускники ШОН сыграли заметную роль в активизации разведывательной работы накануне и в годы Великой Отечественной войны.