Самостоятельная жизнь для него началась рано, в 1907 году. В 12 лет юный Ежов отправился на заработки в Литву. До 1909 года трудился на заводе Тильманса в городе Ковно, затем возвратился в Санкт-Петербург и пять лет проработал на кроватной фабрике Путиловского завода. Возмужавший и подросший – голова уже торчала над столом – Николай Ежов, наконец, был замечен вожаками большевиков и вовлечен в подпольную работу. Несмотря на маленький рост в 151 сантиметр и тихий голос, бдительное око полиции разглядело в нем одного из будущих советских вождей и выслало в провинцию под надзор полиции. Местные столоначальники не стали морочить себе голову и от греха подальше отправили его в армию.
К концу 1915 года положение на фронте сложилось не в пользу России, и Ежова, в числе других новобранцев, бросили затыкать бреши в обороне. В одном из боев он получил ранение, полгода провел на больничной койке, после выздоровления возвратился в армию – в команду нестроевых Двинского военного округа, где встретил февральскую революцию. И здесь пробил его час, и не только его, но и тысяч тех, «кто был никем» и кого революция сделала «всем». В марте 1917 года он вступил в РСДРП(б) (партию большевиков), принял деятельное участие в создании партийной ячейки в Витебске.
С того дня начался долгий путь восхождения Ежова к вершине властной пирамиды в СССР. Уступая в росте, внешности и в голосе трибунам-революционерам и отчаянным рубакам-командирам, он, несмотря на обширные книжные знания и пролетарское происхождение, долго прозябал на второстепенных партийных и административных должностях. До конца 1920-х годов ему пришлось помотаться по периферии и заниматься рутинной работой в Татарстане, Марий Эл и Киргизии.
В гору Ежов пошел, когда в стране махровым цветом расцвел бюрократический социализм Сталина. Партийный аппарат взял верх над старой «ленинской гвардией». В нем многое, если не все, решала «функция». Умение «винтика» в многосложной бюрократической махине грамотно составить бумагу и подать ее наверх, вовремя уловить, в каком направлении дуют ветры во властных кабинетах, ценились больше всего. И здесь Ежов мог дать фору недавним кумирам народных масс и творцам революции. Исполнительность, красивый почерк, тонкий стиль письма, пусть медленно, но все же помогали ему подниматься по служебной лестнице. Его начальники, получив очередное назначение, не забывали про «скромную трудовую лошадку», безропотно везущую «воз дел», и тащили за собой.
В 1927 году Ежова выдвинули на должность помощника заведующего организационно-распределительного отдела ЦК ВКП(б), и оно стало поворотным в его судьбе. Оказавшись в Москве, да еще в составе партийного аппарата, он почувствовал себя как рыба в воде. Смехотворный рост – злые языки шутили: «Нашего Колю можно заметить по тени или по шороху», неброская внешность и тихий нрав делали его в глазах ярких и амбициозных коллег неконкурентом в борьбе за близость к НЕМУ – Вождю. Ежов же, до поры, до времени терпел насмешки коллег, тихим сапом карабкался по аппаратной лестнице и дорос до должности заместителя председателя Комитета партийного контроля при ЦК ВКП(б) – партийной инквизиции. На ней он, возможно бы, и застрял, если бы не случай.