Ягода произвёл на меня отвратительное впечатление. Старый чекист Ксенофонтов, бывший раньше членом коллегии ВЧК, а теперь работавший Управляющим Делами ЦК и выполнявший все тёмные поручения Каннера, Лацис и Петерс, наглый и развязный секретарь коллегии ГПУ Гриша Беленький дополняли картину – коллегия ГПУ была бандой тёмных прохвостов, прикрытая для виду Дзержинским.
Как раз в это время приехал в Москву, чтобы меня видеть, мой знакомый, помощник начальника железнодорожной станции в Подолии. Это был превосходный, в высшей степени порядочный человек. Он был женат на, моей троюродной тётке, знал меня гимназистом и продолжал говорить мне «ты», несмотря на все мои высокие чины и ранги (я продолжал говорить ему «вы»). Он был очень удручён и приехал просить у меня совета и помощи. Местные органы ГПУ на железной дороге требовали от него вступления в число секретных сотрудников, то есть чтобы он шпионил и доносил на своих сослуживцев. Его, вероятно, наметили как лёгкую добычу – он был обременён семьёй и был человек очень мягкий. Но быть сексотом ГПУ он отказывался. Местный чекист раскрыл карты – выбросим со службы, скажете «ау» железной дороге и вообще никуда вас не примут; когда семья начнёт пухнуть с голоду, всё равно согласитесь.
Он, приехал ко мне: что делать? На его счастье в моём лице у него была защита – аппаратчик высокого ранга. Я взял печатный бланк ЦК и написал на нём записку железнодорожному чекисту с требованием оставить моего родственника в покое. Бланк ЦК сыграл свою роль, и его больше не тревожили. Этот эпизод иллюстрировал для меня систему Ягоды по охвату страны информационной сетью.
Через некоторое время я прямо столкнулся с Ягодой на заседаниях Высшего Совета физической культуры. Так как я был представителем ЦК в Высшем Совете, то, как я уже писал выше, я без труда провёл линию, противоположную мнениям ГПУ. Ягода был бит и унижен. Но и кроме того, имея определённое мнение о коллегии ГПУ, я не скрывал своего чрезвычайно недружелюбного отношения ко всей этой публике. Это вызвало в коллегии ГПУ переполох. Иметь врага в лице помощника Сталина, который к тому же секретарь Политбюро, коллегия ГПУ нашла для себя крайне неудобным. Обдумывали, как быть. В конце концов решили, что выгоднее эту обоюдную вражду сделать открытой и официальной, ставя этим под подозрение всякий удар, какой я мог бы им нанести. Конечно, они справедливо опасались, что секретарствуя на заседаниях тройки и Политбюро, будучи постоянно в контакте с секретарями ЦК и членами Политбюро, я могу быть им очень опасен.