Реально осознавая трудности своей новой службы, Рандакявичус томился и нервничал. Сказывались на его неуверенном состоянии и изъяны в русском языке. Боясь сделать какую-либо ошибку в оценке событий, он очень тщательно выбирал слова и обычно начинал свою речь с осторожного словосочетания «по-видимому».
Когда Семичастный понял, что из Рандакявичуса нового Дзержинского не получится, он начал готовить новую команду руководства разведкой, но кто-то наверху этому противился, и реформа ПГУ по замыслу Семичастного осталась неосуществленной. Но слухи о смене руководства доходили до ПГУ, и это выводило из равновесия действующих начальников.
Для Рандакявичуса все это кончилось весьма плачевно. В один из отпусков, когда он находился в Литве, его сразил тяжелый инфаркт. Спас его фронтовой друг, светило литовской медицины. Оправившись, Рандакявичус приступил к работе, но вскоре был заменен и уехал в Литву, где работал министром юстиции. А.М. Сахаровский выстоял, несмотря на то что отношения и с Семичастным, и с Рандакявичусом были достаточно сложными, и при всей своей сдержанности Александр Михайлович иногда жаловался своим близким на то, что и так непростая служба становится особенно трудной из-за условий, в которых ему приходится работать.
В мае 1967 года на должность председателя КГБ был назначен Юрий Владимирович Андропов. К моменту назначения у него за плечами был уже солидный послужной список: руководящая партийная работа в Карелии, посты посла СССР в Венгрии, заведующего отделом и секретаря ЦК КПСС. Очевидно, что Комитет государственной безопасности нуждался в приходе человека такого масштаба, как Андропов. С одной стороны, это был опытный государственный деятель, а с другой — ему был интересен этот участок работы, к которому он относился с уважением еще со времени работы послом в Венгрии.
Личная ответственность за безопасность государства, за судьбы отдельных людей, за положение страны в международном сообществе, за соблюдение законности и порядка — все это просто обязывало каждого председателя КГБ быть особо доверенной личностью руководства страны.
Приход Андропова в КГБ не мог не повлечь за собой некоторых кадровых перестановок. По свидетельству генерала армии Бобкова, положение дел в КГБ к моменту назначения Юрия Владимировича было «сложным и напряженным».
«Оно определялось распрями между отдельными группами руководящих работников. Основную группу составляли бывшие партийные работники, пришедшие в органы госбезопасности в 1951 году после ареста Абакумова и занимавшие многие ключевые посты. Они считали себя по прошествии полутора десятков лет профессиональными чекистами и претендовали на ведущее положение. Им не по душе был приход новых людей, в основном из комсомола, дорогу которым на руководящие посты в разведку и контрразведку открыли Шелепин и Семичастный. “Старики” из числа партработников не хотели сдавать позиции... Трудно приходилось профессиональным работникам, хотя они несли в основном всю тяжесть оперативной работы. Как поведет дело новый председатель? С приходом Андропова на первый план вышли бывшие партработники. Они старались войти в доверие к новому председателю. Зарекомендовать себя его сторонниками».