3-е отделение — Польша, Румыния, Болгария, Югославия;
4-е отделение — Британия, Франция, Испания, Швейцария, Нидерланды, Бельгия, Люксембург;
5-е отделение — Греция, Турция, Иран, Афганистан; 6-е отделение — Финляндия, страны Скандинавии и Прибалтики; 7-е отделение — США, Канада; 8-е отделение — оппозиция; 9-е отделение — эмиграция;
10-е отделение — научно-техническая разведка; 11-е отделение — оперативная техника; 12-е отделение — визы и учет иностранцев. Штат отдела — 210 человек[169].
Во второй половине 1937 года была изменена структура центрального аппарата ИНО.
В него вошли два отдела и два самостоятельных отделения.
1-й отдел направлял работу закордонных резидентур и включал в себя 9 географических секторов, руководивших политической, научно-технической и экономической разведкой в закрепленных за ними странах.
2-й отдел ведал вопросами внешней контрразведки и состоял из 6 секторов, занимавшихся борьбой с террористической, диверсионной я шпионской деятельностью зарубежных спецслужб и политэмигрантских центров на территории СССР и против совзагранпредставительств.
В связи с острой нехваткой кадров разведчиков 3 октября 1938 года приказом наркома внутренних дел Ежова был создан специальный учебный центр для их ускоренной подготовки — Школа особого назначения (ШОН) ГУГБ НКВД СССР (еще 26 мая 1926 года было принято решение Политбюро ЦК ВКП(б) об организации специальной разведшколы, на базе которой позднее возникла Военно-дипломатическая академия, в этой школе обучались и сотрудники ИНО). Первым начальником ШОН стал Владимир Харитонович Шармазанашвили, а преподавали в ней такие мастера разведки, как Евгений Петрович Мицкевич, Сергей Михайлович Шпигельглаз, Василий Иванович Пудин, Павел Матвеевич Журавлев, Павел Анатольевич Судоплатов, Василий Михайлович Зарубин и другие. А среди первых выпускников ШОН были будущие начальник ИНО Павел Михайлович Фитин, заместители начальника разведки Виталий Григорьевич Павлов и Елисей Тихонович Синицын, резиденты Александр Семенович Феклисов, Анатолий Антонович Яцков, Николай Михайлович Горшков и другие асы разведки.
Также для более оперативной работы внешней разведки 5 октября 1938 года в 5-й отдел ГУГБ были переданы функции и штаты упраздненного Особого бюро при секретариате НКВД СССР. Особое бюро было организовано 15 февраля 1937 года и являлось первым информационно-аналитическим подразделением в системе НКВД. Среди прочего в его функции входили подготовка справочных материалов по формам и методам работы иностранных разведок и контрразведок, составление характеристик на государственных и политических деятелей зарубежных стран, подготовка учебных пособий. Особое бюро возглавляли Валерий Михайлович