Ничто, кажется, поначалу не предвещало такой завидной карьеры. За два десятилетия между Гражданской и Отечественной войнами Николай Александрович успел сменить немало мест работы: трудился и во Всероссийской чрезвычайной комиссии, и в Высшем совете народного хозяйства, был директором Московского электрозавода, с 1931 г. по 1937 г. возглавлял Московский совет депутатов трудящихся. В 1935 г. первым секретарем Московского горкома партии стал Н.С. Хрущев, после чего эти два руководителя шли рядом до 1958 г., когда Булганин был главой Советского правительства, а Хрущев — главой КПСС.
Совместную деятельность они начали с реализации лозунга о превращении Москвы в «образцовый город нашего пролетарского государства». Надо отдать должное, многое в столице изменилось тогда к лучшему: начало строиться метро, была проведена коренная реконструкция городского хозяйства, шло массовое сооружение жилья. Но сколько уникальных памятников истории, архитектуры и церковной культуры утратила тогда столица: был взорван построенный в честь победы над Наполеоном храм Христа Спасителя, снесены Сухарева башня, церкви — Сергия Радонежского, Михаила Архангела, Крестовоздвиженская. «Почистили» и Кремль. Сохранился снимок: Хрущев и Булганин заинтересованно рассматривают царские гербы, замененные на кремлевских башнях рубиновыми звездами и выставленные в Центральном парке культуры и отдыха.
В те же годы Булганин познакомился с И.В. Сталиным. Как вспоминал Хрущев, вождь часто приглашал их с тогдашним столичным мэром, при этом всегда шутил: «Приходите обедать, отцы города». Булганин как-то сказал коллеге: мол, приглашают тебя в гости, там поят, кормят, а потом и не знаешь, сам ли поедешь к себе домой или тебя отвезут куда-нибудь и посадят. Надо ли после этого удивляться, что, получив очередное указание, «отцы города» без рассуждений, неотложно брались за выполнение поручений вождя.
Николай Александрович демонстрировал не только высокую исполнительность, но и личную преданность вождю. Он с готовностью подключился к славословию Сталина. Доклад генсека на XVII съезде партии в 1934 г. он назвал — ни много ни мало — «гениальным», а решающим условием роста и развития Москвы — «исключительную помощь, которая оказывалась Москве на протяжении всех истекших лет нашей партией, ее Центральным комитетом и в первую очередь товарищем Сталиным».
Путь наверх Булганину, как и многим функционерам, открыли массовые расправы с партийными, советскими и хозяйственными кадрами. Одним из первых арестовали и расстреляли председателя Совнаркома РСФСР Д.Е. Сулимова. На освободившееся место в июле 1937 г. и был рекомендован Булганин.