Надо сказать, что организационные реформы и связанные с этим потрясения задолго до августовских событий 1991 года не обходили стороной КГБ СССР. В частности, демократические круги России настаивали на образовании республиканского КГБ, ранее не существовавшего в советское время. Задачи по обеспечению безопасности РСФСР решались подразделениями центрального аппарата КГБ СССР, которому были напрямую подчинены органы безопасности в автономных республиках, краях и областях. Создание самостоятельного российского КГБ ослабляло позиции централизованного КГБ СССР, приводило к существенному уменьшению влияния союзных структур на подразделения органов госбезопасности на территории республики.
Руководству суверенной России требовались свои собственные органы КГБ. Ельцин, как всегда с упорством и настойчивостью, стал добиваться образования российских органов безопасности, что позволяло ему уменьшить позиции Горбачева и самостоятельно контролировать огромную республику через эффективно действующие, отмобилизованные территориальные органы государственной безопасности. «Демократическое» окружение Ельцина не скрывало, что создаваемое республиканское КГБ предназначалось для ограждения России от «непомерных посягательств центра». Руководство КГБ СССР всячески оттягивало сроки проведения таких серьезных преобразований в системе органов безопасности. В конечном итоге в мае 1991 года Крючков с согласия Горбачева был вынужден пойти навстречу российским властям: подписал с Ельциным совместный Протокол о создании республиканского КГБ. «Отсутствие КГБ в России не соответствует системе федеративного устройства нашего государства, в новых условиях его создание отвечает объективным потребностям нашего общества», — вынужден был признать Крючков.
Но существовали серьезные опасения, что сам процесс образования республиканской структуры КГБ затянется по времени, что создаст дополнительные трудности и снизит эффективность оперативной работы. Так оно и случилось, с мая до августовских событий КГБ России находился в стадии своего формирования, организационного становления, кадровых перестановок, а территориальные органы продолжали быть в двойном подчинении. Они попали в своеобразный капкан, когда в дни ГКЧП получили два противоречащих друг другу указания от В. Крючкова и В. Иваненко (первого и единственного председателя КГБ РСФСР).
18-19 мая 1991 года в Москве состоялось совещание руководителей российских территориальных органов КГБ, на котором выступил Ельцин. Оно было показательно, прежде всего, тем, что в отличие от Горбачева, ни разу не встретившегося с чекистами, Президент России Ельцин высказывал уважение к работе создаваемого республиканского КГБ. Он ставил перед ним конкретные задачи и в определенной степени обращал к себе, склоняя на свою сторону руководителей органов безопасности автономных республик, краев и областей. Некоторые уважаемые руководители в своих выступлениях не стеснялись с высокой трибуны присягнуть ему в верности.