Русские начали работать с Ульбрихтом. Даже советской разведке пришлось признать, что эффективная работа в Германии больше невозможна. Приблизительно во время работы конференции "проверяющий" доктор Рабинович покинул Москву с целью ликвидации организации, бывшей когда-то предметом гордости советской шпионской империи в Германии. Он распустил организацию ББ по промышленному шпионажу и заморозил деятельность всего "аппарата". Даже само его название было вычеркнуто из словаря разведки. В довершение ко всему Рабинович ликвидировал базы Разведупра в Германии.
От мощной структуры различных аппаратов"и тайных организаций осталось только 25 агентов и связников. Рабинович распределил их по всей стране и взял с них обещание продолжить работу на советскую разведку. В начале 1936 года, перед возвращением в Москву, он встретился с руководством своей рухнувшей надежды, но уже в Копенгагене, поскольку больше не считал Германию достаточно безопасной. Там он дал сигнал к началу самой крупной эвакуации за всю историю советского шпионажа.
Это был печальный исход. Команда Разведупра переехала из Германии в Голландию и Францию, откуда могла наблюдать за развертыванием программы вооружения Третьего рейха. Западноевропейское бюро Коминтерна перебралось в Копенгаген и Париж, организация по изготовлению фальшивых документов, или точнее её остатки, нашла свое убежище в земле Саар, все ещё остававшейся под международным контролем, но долго там не задержалась и переехала во Францию, где пополнилась агентами Коминтерна, Разведупра и пражскими изгнанниками.
Крах советской агентуры стал абсолютным, а тем временем её хозяева в России были втянуты во внутренние распри. За бесплодные восемнадцать месяцев с того момента, как Рабинович свернул деятельность разведки в Германии, лучшие кадры разведки коммунистов нашли конец в жерновах сталинской мельницы смерти.
Борьба за власть в Советском Союзе привела к вспышке старой вражды между тайной полицией и разведкой. Иосиф Сталин принимал все более жесткие меры для сохранения своей личной диктатуры и уничтожения любого реального или возможного противника в партии, государстве и вооруженных силах. Для этой цели в качестве смертоносного оружия он все активнее использовал тайную полицию. Она тем временем была ещё раз переименована и получила беспрецедентную полноту власти.
В июле 1934 года ГПУ стало ГУГБ (Главное Управление Государственной Безопасности), образовав особое подразделение НКВД. Возглавляемое Николаем Ежовым, оно утопило в волнах террора всякую оппозицию. Ежовский террор обрушился и на трех традиционных соперников: тайную полицию, Разведупр и Коминтерн. Недоверчивый мизантроп из Кремля подозревал их руководителей в заговорах против своей особы. Вскоре "глава торговцев подозрениями" из ГУГБ приготовился нанести им смертельный удар: в июне 1937 года был смещен самый влиятельный человек в Красной Армии, маршал Тухачевский, а председатель Коминтерна Зиновьев к тому времени уже предстал перед судом. Вместе с ними были почти полностью уничтожены их подпольные организации.