В двадцатые годы существовало негласное соперничество Молотова и Кагановича за право быть вторым человеком. После перехода Молотова в правительство в декабре 1930 года Лазарь Каганович унаследовал от него все партийные дела. Секретарь ЦК, руководитель столичной партийной организации, он стал вторым человеком в партийной иерархии, возглавлял работу оргбюро и секретариата ЦК и председательствовал на заседаниях политбюро, когда Сталин уезжал в отпуск.
К тому же Лазарь Моисеевич был председателем Комиссии партийного контроля и Комиссии по проверке партийных рядов.
Каганович дал путевку в жизнь двум будущим руководителям государства — Хрущеву и Брежневу.
Никита Сергеевич Хрущев познакомился с Кагановичем еще в первые дни Февральской революции, когда Каганович, который работал в Юзовке, выступал на первом же митинге. Хрущев восторженно его слушал. У Кагановича были сложные отношения с украинскими большевиками старшего поколения. Поэтому Лазарь Моисеевич опирался на партийные организации Донбасса. Хрущев понравился Лазарю Моисеевичу, и тот перевел Хрущева в Харьков, который был тогда столицей Украины, определил в орготдел республиканского ЦК. Потом забрал с собой в Москву. И многие годы Хрущев воспринимался как человек Кагановича.
В Москве Никита Сергеевич занимался всеми городскими делами. Каганович находил время только для таких колоссальных проектов, как строительство метро. Он был тронут, когда Сталин написал письмо столичным властям с просьбой присвоить Московскому метрополитену имя Кагановича.
В середине тридцатых на демонстрациях портретов Кагановича было немногим меньше, чем портретов вождя. Но степень самостоятельности Кагановича была невелика. Если вождь уезжал из Москвы, то Лазарь Моисеевич чуть ли не каждый день писал Сталину, спрашивая его мнение относительно всех сколько-нибудь значительных вопросов. Сталин подробно отвечал по каждому пункту, поэтому решение принималось только с его санкции.
Во второй половине тридцатых Сталин, по существу, убрал Кагановича с партийной работы. В 1935 году назначил его наркомом путей сообщения. Железными дорогами Лазарь Моисеевич руководил в общей сложности семь лет, Сталин, недовольный ситуацией с железнодорожным транспортом, несколько раз снимал его с этой должности, а потом все-таки возвращал.
В 1937 году Михаил Каганович, старший брат всесильного Лазаря Моисеевича, стал наркомом оборонной промышленности (третий из братьев, Юлий, был секретарем Горьковского обкома партии и председателем облисполкома, потом заместителем министра внешней торговли, он рано умер).