Мао был в Москве на совещании коммунистических и рабочих партий. Хрущев решил — надо Мао информировать о ситуации внутри руководства, чтобы потом Мао не обижался: только уехал, а в Москве начались перестановки, о которых его не информировали. Хрущев по секрету сказал Мао, что Булганин вскоре лишится должности главы правительства.
— Кого же у вас думают выдвинуть взамен? — заинтересовался Мао Цзэдун.
— Мы еще ничего не решили. Но я, хотя еще и не твердо, буду предлагать товарища Косыгина.
— А кто такой Косыгин? — спросил Мао. — Вы меня познакомьте с ним.
Хрущев подозвал Косыгина, и Мао с ним беседовал.
Но Никита Сергеевич предпочел сам возглавить правительство, ссылаясь на то, что члены президиума ЦК настояли…
Алексею Николаевичу Косыгину пришлось подождать: он стал главой правительства только после ухода Хрущева, в октябре 1964 года.
А Булганина тогда вновь назначил председателем правления Государственного банка СССР. На этом посту Николай Александрович не задержался. Уже в августе его отправили в Ставрополь председателем совнархоза.
«Встретили его ставропольчане тепло, — вспоминал Михаил Сергеевич Горбачев, тогда еще второй секретарь крайкома комсомола. — По утрам, когда Булганин приезжал на работу, у здания совнархоза собиралась толпа — иногда до нескольких сот человек».
Но это вызывало гнев первого секретаря крайкома Ивана Кононовича Лебедева, склонного к сквернословию и хамству. Он прилюдно кричал на Булганина:
— Подыгрываешь отсталым настроениям? Что, приехал сюда демократию разводить?
«Лебедев буквально третировал его, — писал Горбачев, — собирал о нем сплетни и слухи, вытаскивал на бюро за малейший промах, пытался снять с поста председателя совнархоза и направить директором небольшого заводика».
Это были трудные годы для Булганина. В сентябре 1958 года на пленуме ЦК его вывели из состава президиума. В ноябре указом президиума Верховного Совета из маршалов понизили до генерал-полковника.
На декабрьском пленуме ему пришлось вновь каяться за прежние грехи. Хрущев потребовал от него выступить.
— Когда в 1957 году активно развернулась антипартийная деятельность Маленкова, Кагановича, Молотова и Шепилова, — покорно говорил Булганин, — я присоединился к ним, поддержал их и стал их сторонником и соучастником. Будучи тогда председателем Совета министров, я оказался не только их соучастником, но и номинально их лидером. Антипартийная группа у меня в кабинете собиралась, сговаривалась о своей антипартийной фракционной работе.
30 декабря 1958 года генерал-полковника Булганина отправили в отставку. Но он оставался членом ЦК и еще год проработал. В феврале 1960 года Николая Александровича перевели на пенсию. Пенсию, правда, дали хорошую, персональную союзного значения. К нему у Хрущева меньше всего было претензий. Булганина единственного из всех участников «антипартийной группы» не исключили из партии.