В 1931 году Кривицкого вместе с Рейссом в числе большой группы военных разведчиков переводят в ИНО ОГПУ. В 1934 году его назначают заместителем директора Института военной промышленности, а в октябре 1935 года капитана госбезопасности Кривицкого направляют нелегальным резидентом в Голландию, где он проявил себя также с лучшей стороны. Весной 1936 года агент, которого курировал Кривицкий, получил доступ к кодовой книге японского посольства в Берлине и к содержавшимся в ней шифрам по немецко-японским переговорам между Риббентропом и японским военным атташе генералом Хироси Осимой. С тех пор переписка Осимы с начальством в Токио проходила через руки Кривицкого, и Москва располагала исчерпывающей информацией по поводу переговоров, закончившихся подписанием 25 ноября 1936 года немецко-японского анти-коминтерновского пакта. За эту операцию Кривицкий был представлен к ордену Ленина.
В декабре 1936 года начальник ИНО НКВД A.A. Слуцкий, прибыв в Гаагу, объявил Кривицкому странный приказ, гласивший:
«Отберите из ваших людей двух человек, способных сыграть роль немецких офицеров. Они должны обладать достаточно представительной внешностью, чтобы сойти за военных атташе, должны изъясняться как военные и должны быть исключительно надежными и сильными. Отправьте их ко мне в срочном порядке. Это чрезвычайно важно».
Кривицкий выполнил приказ, но смысл его стал понятен ему позднее, когда он узнал о похищении в Париже главы РОВСа генерала Миллера. Тогда же, в декабре 1936 года, он получил информацию о начавшихся по инициативе Сталина переговорах между главой советской торговой миссии в Берлине Д. Канделаки и Я. Шахтом, в ходе которых прощупывалась почва для заключения советско-германского политического договора. Кривицкий получил приказ из Москвы заморозить на время переговоров деятельность своей агентуры в Германии. В то время Гитлер не проявил интереса к переговорам. Однако, когда в марте 1937 года Кривицкий был вызван в СССР, он узнал от нелегального резидента ИНО НКВД в Германии В.М. Зарубина, сопровождавшего Канделаки в Москву для доклада Сталину, что Канделаки дал оптимистическую оценку перспектив соглашения с Гитлером.
Находясь в Москве, Кривицкий не меньше, чем переговорами с фашистской Германией, был потрясен ширящимися процессами против старых большевиков и арестами среди сотрудников НКВД и ГРУ, сам при этом ожидая ареста со дня на день. На его глазах арестовывают бывших коллег, в том числе Макса Максимова и Софью Залесскую. Еще ранее, в ноябре 1936 года, были арестованы бывшие руководители нелегального военного аппарата компартии Германии, с которыми Кривицкий был тесно связан с начала двадцатых годов. Восемнадцатого марта 1937 года он присутствовал на собрании офицеров в клубе НКВД, когда Н. Ежов объявил о раскрытии очередного масштабного контрреволюционного заговора. Ежов заявил, что заговорщики проникли в самое сердце НКВД, а главным предателем оказался сам Г.Г. Ягода. Якобы работая в свое время на царскую охранку, Г. Ягода был завербован немецкой секретной службой и внедрен в ВЧК. К тому моменту, когда он был освобожден от занимаемой должности, ему удалось поставить шпионов на все ключевые посты в НКВД. Некоторые из них, по словам Ежова, уже были арестованы. Присутствующие громко аплодировали при этом, хотя большинство из них знало, что все сказанное здесь было неправдой. По словам Кривицкого, они выражали аплодисментами свою преданность.