25 июня Инспекция при председателе КГБ была упразднена и вместо нее была образована Группа по изучению и обобщению опыта работы органов госбезопасности и данных о противнике со штатом в 10 человек, которую возглавил генерал-майор Т.Н. Бескровный.
В целом данное решение позволило повысить уровень разрабатываемых планов разведывательных и контрразведывательных операций и оперативных мероприятий.
Было реорганизовано управление охраны руководства страны (10 управление или Управление коменданта московского Кремля было слито с 9 управлением КГБ), было также образовано Оперативно-техническое управление (ОТУ) КГБ.
Следующая крупная реорганизация органов госбезопасности последовала за Постановлением Совета министров СССР от 5 февраля 1960 г. «О внесении изменений в структуру КГБ при СМ СССР и его органов на местах и сокращении их штатной численности». В соответствии с этим постановлением были упразднены 4, 5 и 6 управления, а их функции и штаты были переданы во 2 Главное управление КГБ.
Второе Главное управление, а фактически, — всю контрразведку страны, — с момента образования КГБ и до его упразднения в октябре 1991 г. последовательно возглавляли П.В. Федотов, О.М. Грибанов (1956–1964 гг), С.Г. Банников (1964–1966 гг.), Г.К. Цинев (1967–1970 гг.), Г.Ф. Григоренко (1970–1983 гг.), И.А. Маркелов (1983–1989 гг), В.Ф. Грушко (1989–1991), Г.Ф. Титов (1991) [6].
Соответственно в 1954–1991 годы военную контрразведку — 3 управление, с июня 1972 г. — 3 Главное управление КГБ СССР возглавляли: Д.С. Леонов (1954–1959), А.М. Гуськов (1959–1963), И.А. Фадейкин (1963–1966), Г.К. Цинев (1966–1967), В.В. Федорчук (1967–1970), И.Л. Устинов (1970–1973), Н.А. Ду-шин (1974–1987), В.С. Сергеев (1987–1990), А.В. Жардецкий (1990–1991)[7].
А.Н. Шелепин, писал о нем бывший заместитель начальника ПГУ КГБ В.А. Кирпиченко, по общему впечатлению сотрудников КГБ, чувствовал себя на посту председателя человеком временным и не пустил глубоких корней в Комитете, а его преемник В.Е. Семичастный еще далеко не сформировался как государственный деятель, в нем было больше комсомольского задора, чем политической мудрости.
На время нахождения Шелепина на посту председателя КГБ СССР приходится побег 12 августа 1961 г., буквально за сутки до возведения знаменитой «Берлинской стены», спецагента МГБ — КГБ Б. Сташинского.
Ранее, в 1957 и 1959 годах, Сташинский ликвидировал в ФРГ руководителей Организации украинских националистов (ОУН), Л. Ребета и С. Бандеру. Ликвидация Бандеры 15 октября 1959 г. стала последней подобной акцией советских спецслужб.