Уже в феврале 1924 года, когда первый деревянный Мавзолей был открыт для посещения, началась подготовка к созданию нового монументального сооружения. Первый «склеп» считался временным, а для вождя революции нужен был более монументальный Мавзолей. Его тоже решили построить из дерева и с максимальным использованием конструкций уже существующего сооружения. А.В. Щусеву поручили создать новый проект, согласно которому предполагалось объединить склеп и боковые вход и выход. К тому же архитектору надо было учесть предложения, который поступали от соратников вождя. Например, Л.Б. Красин, один из первых советских дипломатов, предложил придать Мавзолею форму народной трибуны. Его поддержал и А.В. Луначарский. Так появился проект второго Мавзолея, который сочетал в себе ступенчатую пирамиду, усыпальницу, памятник и трибуну. Размеры второго Мавзолея, по сравнению с центральным объемом первого, увеличились более чем в два раза.
Этот Мавзолей в общих чертах был уже похож на современный, и хотя он тоже был сделан из дерева, но ступеней у него было больше. Центральный вход находился в середине фасада Мавзолея, а слева и справа от него размещались боковые трибуны, куда вели две лестницы. Дубовая обшивка второго Мавзолея была покрыта лаком, и общий цвет всего сооружения был светло-коричневым, а на нем контрастно выделялись сделанные из черного дуба колонны портика, двери, фриз над нижним объемом и т. д.
В конце 1924 года комиссия по увековечению памяти В.И. Ленина обсуждала доклад А.В. Луначарского и Л.Б. Красина «О постоянном Мавзолее». В ходе обсуждения комиссия сформулировала ряд принципиальных предложений, которые затем вошли в программу объявленного конкурса. Основным помещением Мавзолея должен был стать зал, в центре которого будет установлен саркофаг; кроме того, предусматривались подсобные помещения и залы, а также «большие залы ожидания», которые «могут находиться и в верхнем этаже, то есть над землей, и составлять главное содержание самого корпуса здания». Стены внутренних помещений должны были быть украшены фресками, изображающими «главные этапы мировой революции, в особенности рабочего движения, и социалистического служения ему Владимира Ильича». Кроме того, «в композицию всего сооружения должна была входить трибуна, как центр Красной площади. Трибуна должна быть рассчитана на вмещение президиума всего народного собрания… с самостоятельно выдвинутой кафедрой для оратора».
К составлению проекта решено было привлечь лучших советских и зарубежных архитекторов, и на конкурс поступило много интересных проектов. Например, Ф.О. Шехтель представил композицию, отдаленно напоминавшую Мавзолей в Га-ликарнасе: прорезанный арками стилобат, на котором стоит колоннада, поддерживающая высокую пирамиду, облицованную камнем.