После свержения Хрущева Брежнев не получил единоличной власти. Главного соперника он имел в лице Александра Шелепина — «Железного Шурика», широко было распространено такое прозвище. История эта хорошо известна, на ней не стоит задерживаться. Главная политическая опора Шелепина была в «органах». Опытный аппаратчик, он понимал, что такое «подбор и расстановка кадров». На Лубянке сидел его давний подчиненный и приятель Семичастный. Во многих управлениях — тоже бывшие «комсомольцы». Например, в Ленинграде — втором после столицы центре государства — во главе местного КГБ был В. Шумилов, недавний комсомольский вождь в Смольном. Такого рода примеры можно перечислять как угодно долго. Опасность для Брежнева увеличивалась тем, что Шелепин имел сторонников в Политбюро.
Семичастного следовало убирать как можно скорее; не ясно было, что готовят Шелепин и его сторонники, враждебные правящей группе. Но как соблюсти видимость формальной законности? Нужны были «служебные несоответствия», причем весомые. Их и «сделали». К празднованию 50-летия Октября советский народ и весь мир получили невиданный политический сюрприз: бежала за рубеж дочь Сталина Светлана Аллилуева.
Уже тогда догадливые современники недоумевали, как такую пикантную персону можно так легко упустить? Но уже вскоре, после «книг», выпущенных удачливой беглянкой за рубежом, стало ясно даже из тех бесхитростных текстов: да ее просто-напросто выталкивали из Союза! А потом, когда сорокалетнюю даму (оставившую, кстати, в Москве двух детей от разных мужей; за рубежом она и третьего умудрилась родить) наши зарубежные спецслужбы запоздало принялись «ловить», из их агентов многих «засветили». Опять неувязка в ведомстве Семичастного…
Сняли бывшего комсомольца и недолгого шефа Лубянского ведомства не только быстро и внезапно для всех, но с явным унижением. Брежнев и его советники сделали это явно нарочито, даже напоказ: не считайте, мол, нас простачками, интриг вокруг себя мы не потерпим! Нет сомнений, что тем самым давался основательный урок будущему наследнику Семичастного: служи Партии (то есть ее Генеральному секретарю) и о дворцовых переворотах не мечтай.
Бывший член Политбюро и первый секретарь ЦК КП Украины Петр Шелест писал в своих воспоминаниях: «Я приехал в Москву на заседание Политбюро. На повестке дня много сложных и важных вопросов… В кратком промежутке Брежнев вынул из нагрудного кармана какую-то бумажку, посмотрел и сказал: «Позовите Семичастного». В зал заседания вошел В. Семичастный, чувствовалось, что он не знал, по какому вопросу его пригласили на заседание Политбюро, смотрел на нас с каким-то недоумением, даже казался растерянным… Брежнев объявляет: «Теперь нам надо обсудить вопрос о Семичастном». «А что обсуждать?» — подал реплику Семичастный. Последовал ответ Брежнева: «Есть предложение освободить вас от должности Председателя КГБ в связи с переходом на другую работу». Семичастный подал голос: «За что? Со мной на эту тему никто не разговаривал, мне даже причина такого перемещения неизвестна»… Последовал грубый окрик Брежнева: «Много недостатков в работе КГБ, плохо поставлена разведка и агентурная работа… А случай с Аллилуевой? Как это она могла уехать в Индию, а оттуда улететь в США?»… По всей реакции было видно, что многие члены Политбюро и секретари ЦК были не в курсе этого вопроса. Я был просто поражен, что с Семичастным перед решением этого вопроса никто не переговорил, ему не дали опомниться». Тем не менее, решение было принято единогласно. Брежневу никто не посмел возразить, и это стало его первой победой в схватке за полную и единоличную власть».