А затем в жизни скромного статистика и журналиста произошел кардинальный перелом. Новой бюрократии требовались грамотные делопроизводители, а родство и тесное знакомство с председателем ВЦИК Яковым Свердловым позволяли рассчитывать на хорошую карьеру. Двадцатишестилетнего Генриха Ягоду в апреле 1918 года устроили управляющим делами Высшей военной инспекции — он ведал демобилизацией старой армии, выезжал на многочисленные в 1918 году фронты. В сентябре 1919 года он лишился этого поста, но без работы сидел недолго. Молодого трудоголика приметил Феликс Дзержинский — в ноябре 1919 года Генриха Ягоду назначили управделами Особого отдела ВЧК. Управлять делами ему определенно нравилось — меньше чем через год он стал отправлять ту же должность в масштабах всея Чека. Тогда же он стал членом коллегии ВЧК. В январе 1921 года его назначили заместителем начальника Особого отдела ВЧК-ГПУ В марте 1922 года он занял аналогичную должность, но уже в Секретно-оперативном управление ВЧК-ГПУ-ОГПУ СССР (в июле 1927 года он станет начальником этого управления и пробудет на этом посту до 1929 года). Одновременно, с июня 1922 года по октябрь 1929 года он возглавлял Особый отдел ГПУ РСФСР ОГПУ СССР С сентября 1923 года — 2-ой заместитель Председателя ГПУ-ОГПУ СССР. Затем он стал 1-м заместителем председателя ОГПУ, а в июле 1931 года просто заместителем председателя ОГПУ. Пост наркома внутренних дел (ОГПУ было преобразовано в НКВД в 1934 году) он формально занял в июле 1934 года, хотя фактически произошло это значительно раньше. Его предшественник, Вячеслав Рудольфович Менжинский (председатель ОГПУ с июля 1926 года) в последние годы своей жизни (умер в мае 1934 года) тяжело болел и большинство функций по управлению ведомством передал своему заместителю — Генриху Ягоде.
Генрих Ягода подстраховался — женился на Иде Авербах — племяннице Якова Свердлова. Другой мощный рычаг — организация возвращения из-за границы Максима Горького. В этой операции активное участие принял Леопольд Авербах — брат супруги. Он специально ездил к «буревестнику революции» в Италию, чтобы уговорить его вернуться в Советский Союз.
За делами карьерными Генрих Ягода не забывал и о своей внеслужебной жизни. Генрих Ягода, его родители и пять сестер, тесть Авербах с родней, а также особо приближенные лица роскошно жили в советской столице. У всех были квартиры в центре Москвы и уютные дачи в ближнем Подмосковье. Через неделю после ареста Генриха Ягоды были аккуратно подсчитаны все «спецрасходы» по обслуживанию бывшего наркома и его семьи. Только за 9 месяцев 1936 года они составили 3 млн. 718 тысяч рублей — деньги по тем временам громадные. Среди изъятых у него вещей — «резиновый искусственный половой член». Экзотический по тем временам предмет — для скучающей супруги Иды, ибо помимо государственных дел Генрих Ягода успевал «ходить на сторону». Нарком питал нежные чувства к вдове сына Максима Горького, Надежде Алексеевне (Тимоше). Для нее на казенные деньги была куплена дача в Жуковке (160 тысяч рублей). В том же поселке обитала некая гражданка Галл. Дача стоила лубянской казне всего-то 25 тысяч, но кровать туда завезли за 30 тысяч…