Весьма секретные материалы МГБ с надписью министров «вскрыть только лично» направлялись непосредственно т. Сталину без вскрытия их в особом секторе ЦК…»
После XIX съезда (1952 год) Поскребышев предложил переименовать особый сектор ЦК в секретариат бюро президиума ЦК (составил новое штатное расписание) и стал именовать себя секретарем президиума и бюро президиума ЦК. Пышное название должности льстило самолюбию Поскребышева, который любил щеголять в генеральском мундире.
13 марта 1953 года особый сектор ЦК ликвидировали, а Поскребышева поспешно отправили на пенсию.
Александр Трифонович Твардовский в ноябре 1963 года отдыхал в Барвихе. Он записал в дневнике:
«Отдыхает здесь на правах персонального пенсионера маленький лысый почти до затылка человек с помятым бритым старческим личиком, на котором, однако, как и в форме маленькой, вытянутой назад и вверх головы и поваленного почти плашмя от бровей лба, проступает сходство с младенцем и мартышкой. Нижняя часть лица более всего определяет это второе сходство — тяжеловатая, выдвинутая вперед.
Голос неожиданно низкий, с небольшой хрипотцой. Походка старческая, мелкими шажками, почти без отрыва ступней движком — шмыг-шмыг-шмыг… Зад осаженный, сбитый кверху, как это бывает у стариков.
Это — всего десяток лет тому назад — владыка полумира, человек, который, как рассказывают, со многими из тех, чьи портреты вывешивались по красным дням и чьи имена составляли неизменную «обойму» руководителей, здоровался двумя пальцами, не вставая с места. Это А.Н. Поскребышев, многолетний первый помощник И.В. Сталина, член ЦК в последние годы этой своей службы, генерал-лейтенант.
Имя его в аппаратных (высоких) кругах звучало как знак высшей власти, решающей инстанции. Такому-то позвонил Поскребышев — означало, что позвонил почти что Сталин, собственно Сталин, вещающий плотью его голоса.
Вспоминаю, как я имел наивность и отчаянную решимость позвонить ему по вертушке с просьбой о передаче Иосифу Виссарионовичу рукописи романа Гроссмана на прочтение, где была (навязанная автору нами) глава о Сталине…
— Да. Ну? Нет, — слышались в телефоне односложные низкие, но такие тихие-тихие отзвуки его голоса, голоса знающих, что их должны слушать и слышать.
В этом голосе была и величественная, запредельная усталость, и даже скорбь, и законное, само собой разумеющееся полувнимание (меньше того!) человека, который занят чем-то несравненно более значительным и серьезным, чем то, о чем ты ему «вякаешь». Помнится, он не отказал прямо, но сказал, что лучше отдать «аппарату»…