10 июля 1934 года в соответствии с постановлением ЦИК СССР ОГПУ (при НКВД РСФСР) было ликвидировано и влито в состав нового института — НКВД СССР (образованного из НКВД РСФСР) — как Главное управление государственной безопасности (ГУГБ). Должность умершего Менжинского упразднили, и между 10 мая и 10 июля ГПУ оставалось без руководителя. 10 июля 1934 года Генриха Ягоду назначили первым наркомом внутренних дел СССР.
3 февраля 1941 года НКВД СССР был разделен на два самостоятельных органа: НКВД СССР и Народный комиссариат государственной безопасности (НКГБ) СССР. Но уже в июле того же года НКГБ СССР и НКВД СССР вновь объединили в единый наркомат — НКВД СССР. А в апреле 1943 года вновь создали НКГБ СССР, но уже как бы в дополнение к объединенному в июле 1941 года НКВД и НКГБ.
15 марта 1946 года НКГБ СССР был преобразован в Министерство государственной безопасности (МГБ) СССР. Тогда же все народные комиссариаты (наркоматы) стали называться министерствами. НКВД превратилось в МВД.
15 марта 1953 года, через 10 дней после смерти Сталина, было принято решение об объединении Министерства внутренних дел (МВД) СССР и МГБ СССР в единое МВД СССР, то есть все вернулось к схеме июля 1941 года.
13 марта 1954 года, через год после смерти Сталина, был создан Комитет государственной безопасности при Совете министров СССР. Предлог «при» имел очень важное значение: госбезопасность, напугавшая в сталинский период правления весь советский и партийный актив, подчинялась теперь Совету министров СССР и потеряла статус независимого министерства, как, собственно, и было в 1917–1922 годы, при Ленине.
В 1978 году приставку «при Совете министров» ликвидировали и ведомство стало называться КГБ СССР, что означало повышение статуса госбезопасности в стране и ликвидацию подчиненности Комитета государственной безопасности Совету министров СССР.
6 мая 1991 года председатель Верховного Совета РСФСР Борис Ельцин и председатель КГБ СССР Владимир Крючков подписали протокол об образовании Комитета государственной безопасности РСФСР (КГБ РСФСР), имеющего статус союзно-республиканского государственного комитета.
26 ноября 1991 года новоизбранный президент РСФСР Ельцин подписал указ о преобразовании КГБ РСФСР в Агентство федеральной безопасности (АФБ) РСФСР. Через два дня, 28 ноября, пока еще действующий президент СССР Михаил Горбачев подписал указ «Об утверждении Временного положения о Межреспубликанской службе безопасности» (МСБ) СССР. Еще через несколько дней, 3 декабря, Горбачев подписал закон «О реорганизации органов государственной безопасности». На основании этого закона КГБ СССР был упразднен, а на его базе создали две службы: Межреспубликанскую службу безопасности (МСБ) и Центральную службу разведки СССР.