Своеобразную оценку отношениям Андропова с интеллигенцией дает пресс-секретарь Горбачева Андрей Грачев, многие годы работавший в аппарате ЦК КПСС: «По ряду личных качеств Андропов и впрямь лучше подходил для „работы“ с интеллигенцией, чем такие „профессиональные“ идеологи, как Суслов, Зимянин или заведовавшие отделом культуры ЦК Петр Демичев и Василий Шауро, не имевшие авторитета в творческой среде люди, отслужившие свой должностной срок в кабинетах и президиумах торжественных собраний и игравшие, в сущности, роль идеологических надзирателей, „комиссаров“, приставленных к несознательным деятелям искусства… Напротив, Андропов даже в роли хозяина зловещего КГБ внушал интеллигенции наряду со страхом и определенное уважение масштабностью личности, трезвостью и откровенностью суждений, а также репутацией аскетичного ригориста. В чем-то, по видимому, Андропову даже помогала его малопочтенная должность: председателю КГБ не было нужды опускаться до примитивной демагогии, без чего не могли обойтись из-за служебных обязанностей идеологические руководители ЦК. Он мог позволить себе вести себя прямее и честнее, хотя явно жестче и суровее своих собратьев по Старой площади» [34].
Некоторые дела по так называемым «диссидентам» Андропову приходилось решать на заседаниях Политбюро или Секретариата ЦК партии. И он часто предлагал более мягкие решения и приговоры, настаивал на них, чем вызывал раздражение, иногда неудовольствие Суслова, Подгорного, а то и Косыгина с Брежневым. После выхода на Западе книги талантливого логика и социального философа Александра Зиновьева «Зияющие высоты», где советская действительность стала объектом сатиры, М. Суслов потребовал сурово наказать автора: отправить его в колонию строго режима на 7 лет, а потом добавить 5 лет ссылки. Зиновьева тогда пришлось лишить всех должностей и исключить из партии. Но Андропов не допустил его ареста. Через два года Зиновьев принял решение об эмиграции. И вот что пишет в связи с этим Андропов в записке, направленной в ЦК КПСС: «Имеющиеся в Комитете госбезопасности материалы свидетельствуют о том, что вся деятельность Зиновьева является противоправной и есть юридические основания для привлечения его к уголовной ответственности. Однако эту меру пресечения антисоветской деятельности Зиновьева, по нашему мнению, в настоящее время применять нецелесообразно… Известно, что Зиновьеву поступили приглашения для участия в симпозиумах, чтения лекций по логике в некоторых университетах Западной Европы и США, а также частное приглашение из Франции. Зиновьев делает попытки оформить документы на выезд за границу совместно с женой и дочерью дошкольного возраста. Комитет госбезопасности считает возможным разрешить Зиновьеву и его семье выезд в одну из капиталистических стран в частном порядке и закрыть ему въезд в СССР… Проект постановления ЦК КПСС прилагается. Просим рассмотреть» [35].