• Серов Иван Александрович (1954–1958)
• Шелепин Александр Николаевич (1958–1961)
• Семичастный Владимир Ефимович (1961–1967)
• Андропов Юрий Владимирович (1967–1982)
• Федорчук Виталий Васильевич (1982)
• Чебриков Виктор Михайлович (1982–1988)
• Крючков Владимир Александрович (1988–1991)
• Бакатин Вадим Викторович (1991)
• Первое главное управление — внешняя разведка
• Второе главное управление — внутренняя безопасность и контрразведка
• Третье главное управление — военная контрразведка
• Четвертое управление — борьба с антисоветскими элементами (1954–1960); безопасность на транспорте (1981–1991)
• Пятое управление — экономическая безопасность (1954–1967); борьба с антисоветскими элементами (1967–1989)
• Шестое управление — безопасность на транспорте (1954–1960); экономическая контрразведка и промышленная безопасность (1981–1989)
• Седьмое управление — оперативно-поисковая работа
• Восьмое главное управление — шифровально-дешифровальное, обеспечение связью
• Девятое управление — охрана руководителей партии и правительства (1954–1990)
• Десятое управление — управление коменданта Московского Кремля (1954–1959)
• Четырнадцатое управление — медицина, здравоохранение
• Пятнадцатое управление — обеспечение деятельности защитных объектов (1969–1991)
• Шестнадцатое управление — электронная разведка, радиоперехват и дешифровка (1973–1991)
• Управление «З» — защита конституционного строя (1989–1991)
• Главное управление пограничных войск — охрана государственной границы (1954–1991)
• Оперативно-техническое управление (ОТУ)
• Управление строительства военных объектов
• Центр общественных связей — решение задач «по развитию связей с трудовыми коллективами, общественными организациями и средствами массовой информации» (1990–1991)
Управления и службы Первого главного управления
• Управление «К» — контрразведка
• Управление «С» — нелегалы
• Управление «Т» — научно-техническая разведка