Однако 1937–1938 годы стали поистине черными и для внешнеполитической, и для военной разведки СССР. Так, с июля по октябрь 1937 года были арестованы 43 сотрудника разведывательных органов, в следующие два месяца более 50 руководителей ГРУ были сняты со своих должностей. Судьба многих выдающихся советских разведчиков сложилась трагически. Были расстреляны А. Х. Артузов (в особом порядке за участие в контрреволюционной заговорщицкой организации внутри НКВД), Э. П. Берзин (за измену Родине, подрыв государственной промышленности, совершение террористических актов, организационную деятельность, направленную на свержение существующего строя) и многие другие должностные лица из центрального аппарата и на периферии. Отзывались и репрессировались руководители легальных и нелегальных резидентур, особенно если в их прошлом имелись какие-либо свидетельства о контактах с троцкистами, зиновьевцами, бухаринцами и другими «врагами народа».
Лишь немногим удалось чудом избежать репрессий. Среди них был исключительно смелый разведчик А. М. Коротков, ставший впоследствии руководителем нелегальной разведки и генерал-майором. В 1939 году он был уволен из органов, но после письма на имя Л. П. Берии восстановлен на службе. В августе 1940 года Коротков был назначен третьим секретарем полпредства СССР в Германии и выполнял там функции заместителя резидента легальной резидентуры. В первые дни войны здание советского представительства было блокировано гестапо, но Александр Коротков, рискуя жизнью, сумел несколько раз выехать в город для проведения встреч с агентурой и передачи радиостанции для связи с Центром.
Начальник военной разведки И. И. Проскуров в начале 1940 года докладывал Сталину, что за «последние два года чистки разведорганов от чуждых и враждебных элементов» были арестованы свыше 200 человек, «заменен весь руководящий состав до начальников отделов включительно. <…> Только из центрального аппарата и подчиненных ему частей отчислено по различным политическим причинам и деловым соображениям 365 человек. Принято вновь 326 человек, абсолютное большинство из которых без разведывательной подготовки».
Репрессии нанесли этим службам, да и всей стране в целом невосполнимый ущерб. В результате арестов и ликвидации наиболее подготовленных и профессиональных сотрудников получение важнейшей военной, военно-политической, научно-технической информации было сорвано. Кадровый состав советских резидентур за рубежом резко сократился. Связь со многими источниками, в том числе в иностранных спецслужбах, внешнеполитических ведомствах, дипломатических представительствах, была утрачена.