Юрий Андропов не поддержал Румянцева. Он держался крайне осторожно, не примыкая ни к одной из группировок, возникших в это время и вокруг Брежнева, и вокруг Косыгина, и вокруг Шелепина, и вокруг Суслова. На XXIII съезде КПСС состав ЦК значительно изменился. Но Андропов был вновь избран членом ЦК, а затем и секретарем ЦК. Он продолжал возглавлять свой прежний отдел. Однако характер работы в отделе и прежняя атмосфера «интеллектуальной вольницы» изменились, и это был очень трудный период для самого Андропова. Он видел, что в стране происходит консервативный поворот. Но он не мог открыто восстать против него. Андропов был профессиональным политиком и кадровым партийным работником. Для такого человека не имелось в то время никаких возможностей выступать. самостоятельно в идеологии или политике. К тому же он не хотел потерять те позиции в партийной иерархии и в структуре власти, которых он добивался и которых достиг с немалым трудом. Пример Дмитрия Шепилова, которому Андропов направлял в 1956 году свои шифрограммы и который трудился теперь в архивном управлении Совета Министров СССР, был хорошо известен Андропову. Поэтому он решил остаться, вероятно в надежде на то, что в стране со временем возобладают иные политические течения и он получит шанс использовать их, разумеется не столько в личных интересах, сколько в интересах народа, как он эти интересы понимал. Это был мучительный личный компромисс, который даже в его ближайшем окружении далеко не все могли понять и одобрить.
Андропов часто выглядел подавленным, мрачным, раздраженным. Его ближайшее окружение Начало постепенно распадаться. Одним из первых ушел из аппарата ЦК Ф. Бурлацкий. «…Это было, — вспоминает Федор Михайлович, — в конце декабря 1964 года. В девять часов вечера я все еще сидел в своем просторном кабинете, просматривая последние сообщения ТАСС и деловые бумаги. Попалась на глаза подготовленная мной для Политбюро записка «О планировании внешней политики СССР». Перечитывая текст, я с горечью думал о том, как гибнут или превращаются в свою противоположность самые разумные идеи, о повороте, который начался после падения Хрущева.
Вдруг зазвонил телефон.
— Вы не могли бы зайти ко мне? — раздался в трубке какой-то растерянный и хрипловатый голос Андропова.
Я зашел к нему, сел в кресло напротив и поразился необычно печальному и удрученному выражению его лица. Посидели несколько минут молча: он — опустив глаза, а я — всматриваясь в его лицо и пытаясь понять, что происходит. И тут — по какому-то совершенно необъяснимому импульсивному движению души — я неожиданно сказал: