С 1920 г. Ягода — член президиума ВЧК. С 1924 г.— заместитель председателя коллегии ОГПУ. С 1924 по 1926 г. работал с Ф. Дзержинским. Это были два противоположных характера, по духу враги с разными точками зрения на существующий советский строй.
Дзержинский рекомендован во главе ВЧК В. И. Лениным, а Ягода — Троцким, Бухариным, ранее А. Рыковым, Г. Зиновьевым, Л. Каменевым. Ягода чувствовал громадную поддержку оппозиции и делал в органах ОГПУ все против Дзержинского. Поэтому Дзержинский свой огонь критики обрушил прежде всего на Троцкого и троцкистов. Дзержинский имел некоторые агентурные данные о том, что Троцкий и многие его подопечные состоят на службе иностранных разведок и регулярно за продажу интересов своей Родины получали из-за кордона от эмиссаров деньги в твердой валюте.
Вспоминает бывшая сотрудница ВЧК Елизавета Петровна Матенкова:
«Дзержинский страдал бронхиальной астмой и туберкулезом легких. У него часто наблюдались приступы бронхиальной астмы. В этих случаях сотрудники ВЧК давали ему парное молоко. В 1926 г. Феликс Эдмундович выступал на Пленуме ЦК ВКП(б). Разумеется, там более половины зала была право-троцкистская оппозиция: Троцкий, Бухарин, Каменев, Зиновьев, Рыков, Ягода и др. Во время выступления у Дзержинского на трибуне произошел приступ сердечной астмы.
Поскольку многие в ЦК ВКП(б) относились к Дзержинскому враждебно, то с подачи троцкистов дали выпить ему молока, после которого он тут же на трибуне скончался. Мы в ВЧК считали, что Дзержинского отравили пособники троцкистов. На Пленуме речь Дзержинского была пламенной в защиту молодой Советской власти и против реставраторов капитализма в России, известных уже всем троцкистов. Зная враждебное отношение Ягоды к Дзержинскому, мы не исключали его причастности к смерти Дзержинского.
Да, Ягода был и значился с 1924 г. в органах ОГПУ. Он был ненавистен простому народу в России. Начали появляться на делах арестованных его резолюции «Расстрелять». Это немудрено было тогда, что простой рядовой комиссар ОГПУ выносил постановление о расстреле жертв.
Вследствие засилья троцкистов, эсеров, меньшевиков в аппарате ОГПУ, утрамбованных Ягодой, Рыковым, Бухариным, Сталин в то время к кадрам верхушки в ОГПУ никакого отношения не имел. Занявший пост председателя коллегии В. Менжинский был человеком больным, страдавшим астмой. Лицо его было безжизненным, белое, как бумага. Этим воспользовались Ягода и вся оппозиция. Сталин с 1924 по 1936 год, можно сказать однозначно, не знал, что творится в ОГПУ. В эти годы Ягода сформировался, как отъявленный троцкист и уничтожал неугодных ему честных граждан, боясь разоблачения, провалов оппозиции. Подопечные Ягоды готовили компроматериал на противников троцкизма, а Ягода умело их подсовывал на подпись Менжинскому».