Шестой ребенок у Елены Янушевской и Эдмунда-Руфина появился на свет раньше, чем его ожидали. Мать, будучи беременной, проходила вечером темными сенями и случайно упала в открытый подвал. В ту же ночь, 11 сентября 1877 г., она родила Феликса. В метрике из подлинной книги Деревнинского римско-католического приходского костела, на 54–55 листах, под № 195 записано: «Тысяча восемьсот семьдесят седьмого года, ноября, шестнадцатого дня в Деревнинском римско-католического приходского костела окрещен младенец по имени Феликс Киприаном Жебровским, администратором того же костела, с совершением всех обрядов таинства дворян: коллежского советника Эдмунд-Руфина Осиповича и Гелены, урожденной Янушевской, Дзержинскими, супругов сын, родившийся сего года, августа 30 дня в имении Дзержиново Деревнинского прихода. Воспреемниками были дворяне Франц Вержбовский с Юзефью Войновою, вдовою»>>{31}.
В 1882 г. на 43-м году жизни Эдмунд-Руфин умер от туберкулеза. На руках у тридцатидвухлетней матери осталось восемь детей. Они жили на небольшую пенсию отца и мизерную арендную плату за имение Дзержиново. Их материально и морально поддерживала мать Елены Игнатьевны Казимира Янушевская, проживавшая в усадьбе Йоды под Вильно.
Елена Янушевская создала условия для всестороннего развития детей. В последующем Феликс писал: «Мама наша бессмертна в нас. Она дала мне душу, вложила в нее любовь, расширила мое сердце и поселилась в нем навсегда»>>{32}. Но она ушла из жизни 14 января 1896 г.
С шести лет Феликс учился читать и писать по-польски, а с семи — по-русски. Первыми его учителями были мать и старшая сестра Альдона, которая подготовила его в 1887 г. к поступлению в 1-ю Виленскую мужскую гимназию. Учеба шла с переменным успехом. В первом классе он остался на второй год, потому что слабо знал русский язык. В протоколе заседаний педсовета 1-й Виленской гимназии за первое полугодие 1889/90 учебного года отмечено, что Феликс Дзержинский за поведение получил удовлетворительную оценку. Она была снижена за его шалости и драку с товарищами в гимназии, а также за «умышленный крик при входе в класс преподавателя немецкого языка»>>{33}.
В гимназии преподаватели всех предметов отмечали результаты обучения по трем показателям: успехи, внимание и прилежание. Так, в 5 классе в 1892/93 учебном году больших успехов Феликс достиг в изучении Закона Божьего — 5, 4 получил по латинскому языку, гимнастике, истории, немецкому и французскому языкам; за внимание получил 4 по латинскому, греческому, немецкому и французскому языкам, истории, Закону Божьему; хорошее прилежание было отмечено при изучении латинского, греческого, немецкого и французского языков. Гимнастике обучал его поручик 106-го Уфимского полка Сацукевич, оценивая успехи своего ученика как хорошие и удовлетворительные