За годы «ежовщины» были арестованы практически все бывшие и действующие руководители ИНО и многие ведущие разведчики.
Так, 13 мая 1937 года был арестован выдающийся организатор контрразведки и разведки нашей страны Артур Артузов. 15 июня 1937 года — Станислав Мессинг, руководивший разведкой в 1929–1931 годах, а тогда работавший в Наркомате внешней торговли. 21 ноября 1937 года — первый начальник советской внешней разведки Яков Давтян (Давыдов). 23 ноября 1938 года — Меер Трилиссер, возглавлявший разведку в 1922–1929 годах, а к тому времени являвшийся ответственным сотрудником Исполкома Коминтерна.
Возглавивший разведку после Артузова комиссар госбезопасности 2-го ранга Абрам Слуцкий, с которым у Судоплатова установились хорошие личные отношения, 17 февраля 1938 года скоропостижно скончался в кабинете первого заместителя наркома внутренних дел М. Фриновского. А уже в апреле того же года его посмертно исключили из партии как «врага народа».
После смерти Слуцкого исполняющим обязанности начальника внешней разведки был назначен майор госбезопасности Сергей Шпигельглаз, с которым Судоплатов активно взаимодействовал при решении важных оперативных вопросов. Но и он продержался в этой должности менее четырех месяцев. 9 июня 1938 года его сменил старший майор госбезопасности Зельман Пассов. А судьба Шпигельглаза была решена: 2 ноября 1938 года он был арестован, а 12 февраля 1940 года — расстрелян. Пассова эта же участь постигла спустя три дня — 15 февраля.
В это же время подверглись репрессиям и многие ведущие разведчики. Среди них: резиденты в Лондоне Адольф Чапский, Григорий Графпен и Теодор Малли, в Париже — Станислав Глинский и Георгий Косенко, в Риме — Моисей Аксельрод, в Берлине — Борис Гордон, в Нью-Йорке — Петр Гутцайт, выдающиеся разведчики-нелегалы Дмитрий Быстролетов, Борис Базаров, Григорий Сыроежкин, заместитель начальника ИНО Валерий Горожанин и другие.
Были арестованы и брошены в тюрьмы Ян Буйкис, Игорь Лебединский, Яков Серебрянский, Раиса Соболь, близкие друзья Судоплатова Иван Каминский, Петр Зубов и сотни других разведчиков. Некоторым из них, правда, с помощью Судоплатова удалось все же выйти из заключения и успешно работать в годы Великой Отечественной войны.
Как отмечает в своем исследовании историк советских органов государственной безопасности Д. Прохоров, «в результате так называемых “чисток” в 1937–1938 годах из 450 сотрудников внешней разведки (включая загранаппарат) были репрессированы 275 человек, то есть более половины личного состава».
Разгром разведки привел к печальным последствиям. В результате со многими ценными агентами была прервана связь, восстановить которую удавалось далеко не всегда. Более того, в 1938 году в течение 127 дней кряду из центрального аппарата внешней разведки руководству страны не докладывалось вообще никакой информации. Случалось, что сообщения на имя Сталина некому было подписывать и они отправлялись за подписью рядовых сотрудников аппарата разведки.