Но государева милость – явление переменчивое. В те же послевоенные годы над головой Косыгина прогремела гроза: печально знаменитое ленинградское дело могло до срока завершить его служение Советской России. Кто был заинтересован в устранении ленинградцев? Прежде всего – тройка влиятельных политиков – тогдашних союзников, видевших себя преемниками Сталина: Маленков, Берия, Хрущев. Расстрелян Вознесенский. Расстрелян видный ленинградский руководитель А.А. Кузнецов, родственник Алексея Николаевича. Клавдия Андреевна Кривошеина была двоюродной сестрой Зинаиды Дмитриевны Воиновой. В замужестве первая стала Косыгиной, вторая – Кузнецовой. На допросах следователи получили показания против Косыгина; Алексею Николаевичу приходится защищаться. Проверяли каждый шаг Косыгина с 1937 года вплоть до ограблений Гохрана в бытность Косыгина министром финансов. Косыгин возглавлял РСФСР, его вполне могли обвинить в намерениях создать российскую компартию – вместе с земляком Вознесенским. Маленков подготовил постановление «Об антипартийной группе Кузнецова, Попкова. Родионова и других», в которой Косыгин обвинялся в неправильном поведении, в отсутствии бдительности. Но Сталин, за войну особенно высоко оценивший способности Косыгина, разрядил обстановку знаменитым «царским» обращением, как бы между прочим брошенным Косыгину: «Работай, Косыга, работай! Ты еще поработаешь». Царедворцы трактовали эту фразу как охранную грамоту: Косыгина Сталин пощадит. Хрущев не без зависти вспоминал, как Сталин порой признавался, что видит в Косыгине «нашего будущего премьера». Косыгин уцелел – пожалуй, единственный из высокопоставленных ленинградцев. И все-таки ленинградское дело не прошло для Косыгина бесследно, да и не могло пройти. В 1952 году Политбюро (Президиум) значительно расширяют, но в его составе не находится места для Косыгина… Статус Алексея Николаевича понижают, его снова избирают лишь кандидатом в члены Президиума.
В 1953 году, по своеобразной инерции падения, под властью Маленкова и Хрущева Косыгин лишается и кандидатства, на четыре года выбывая из партийной элиты. Косыгину определенно не доверяет и новый партийный руководитель – Н.С. Хрущев. После таких ударов немногие успешно продолжали политическую карьеру, но в Косыгине нуждалось наше государство, нуждались и власти.
После смерти Сталина в марте 1953 года Косыгин на несколько месяцев лишился поста заместителя Председателя Совета министров СССР. Его назначают министром легкой и пищевой промышленности. Но уже в декабре он вернулся в свой кабинет, став заместителем Г.М. Маленкова, а затем нового премьера – Булганина. В 1956 году Косыгина переводят на работу в Госплан, первым заместителем Председателя, а с 1957 года он снова становится заместителем главы правительства. В 1958 году правительство возглавляет успевший убедиться в профессионализме Косыгина Хрущев – первый секретарь ЦК КПСС и безусловный глава Советского государства с 1953 года. После разгрома «антипартийной группировки» Молотова сотоварищи (Косыгин тогда, как и большинство членов ЦК, поддержал Хрущева) Хрущев подумывал даже о назначении Косыгина новым предсовмина – вместо Булганина. Но все-таки решил самолично возглавить правительство.