Через год Никита Дмитриевич привёл в дом вторую жену. Была она молодая, красивая, бездетная. Но оказалась недоброй. Старшие дети могли за себя постоять, Павел вообще жил отдельно со своей семьёй. А маленький Коля — робкий, болезненный и безответный. Она стала его поколачивать. Отец об этом некоторое время не знал. Но однажды увидел, как женщина дала оплеуху мальчику, как тот сжался перепугано. Понял — это не первый раз, и тут же, в этот же день, выгнал жену из дома. Очень он любил и жалел младшего своего сынка.
Через время он вновь женился. У этой его жены, Марии, были свои двое сыновей — Павел и Илья. Илья — ровесник Николая, но очень шустёр. Стал обижать сводного братца. И опять, когда отец увидел это, наказал Илюшку, пригрозил: «Ещё раз тронешь Николку — побью!»
…Много лет спустя Аня однажды спросила жену Ильи, Марию Сидорову (они — Поляковы и Сидоровы, — не часто, но общались, ходили друг к другу в гости):
— Отчего это Илья такой мастеровой, всё умеет делать руками, а Николай — только что гвоздь забить? Ведь в одной семье росли?
Та ответила:
— Он ведь у отца любимчиком был, ничего его делать не заставляли. А Илью гоняли. А Николка всё книжки читал…
Кстати, о книжках. Младший брат Николая Леонтий, рождённый уже от второго брака, вспоминал как-то их детские годы:
— Мы, пацаны нашего двора, прозвали Кольку «Сталиным». Потому что он всё время ходил с книгами. Как ни идёт он через двор, где мы бегаем, — то или в библиотеку, или из библиотеки. Мы ещё сопляки, а ему уже 16 лет, взрослый парень. Вот нам и казалось, что такой умный, читающий так много книг может быть похожим только на Сталина. Так и говорили: «Вон опять «Сталин» пошёл!» Но Николай сам об этом прозвище даже и не знал.
Эти воспоминания Леонтия относились уже к жизни в Харькове. В тридцатые годы здесь развернулась большая стройка, по радио, в газетах постоянно звучало «Тракторострой». Специалистов из разных городов, предприятий направляли на ХТЗ. Никита Дмитриевич тоже был мобилизован. Он ведь считался отличным наладчиком тяжёлых прессов кузнечного цеха. А на Харьковском тракторном уже стояли механический корпус, чугунолитейный и кузнечный. Несколько месяцев Поляков проходил стажировку на тракторном заводе в Сталинграде, потом приехал в Харьков.
В первых числах сентября 1931 года большая семья Поляковых прибыла в Харьков. Николаю в то время шёл пятнадцатый год, он очень хорошо всё запомнил. Рабочий посёлок ещё представлял собой сплошную строительную площадку: горы кирпича, цемента, деревянные леса, рельсы… Стояли готовыми лишь три пятиэтажных дома в том районе, который и поныне здесь называется «первым». В одном из этих домов уже была отведена квартира для семьи Поляковых. И они вселились — все восемь человек, вошли, как в хоромы. Ещё бы! В Николаеве жили в подвальном помещении, тесном, тёмном. А здесь — две комнаты, коридор, кухня, ванная! И квартира, как все в новых домах, изолированная.