30 августа (11 сентября) 1877 г. у Елены и Эдмунда-Руфина Дзержинских родился шестой ребенок. Роды начались преждевременно, после того как беременная женщина, вечером занимаясь хозяйством, неожиданно провалилась в открытый люк погреба и сильно ушиблась. Несмотря на опасения, преждевременные роды завершились благополучно и для новорожденного, и для роженицы. Отметим, что помимо удачного родоразрешения мальчик родился в «рубашечке», что также считалось и считается признаком счастливой судьбы. Единственно возможным последствием для ребенка стала определенная возбудимость и нервозность, а для матери всепоглощающая любовь, казалось бы, к уже потерянному сыну. Родившегося мальчика назвали Феликсом, что по латыни (felix) означает «счастливый, преуспевающий, плодородный». Во Франции это имя известно как Фелис, в Италии — Феличе. Получил Феликс Дзержинский, как это было принято в их семье, и второе имя — Щастны.
Возможна, по нашему мнению, и иная версия происхождения имени Феликс — в честь уже упоминавшегося дяди, Феликса Иозефовича Завадского, который оказывал финансовую помощь семье Дзержинских. Отметим, что традиция давать имена детей в честь родственников явственно видна в этой семье. Старший сын четы Дзержинских, Витольд (умерший в младенчестве), был назван в честь Витольда Забельского (родного брата Казимиры Янушевской), дяди Елены Дзержинской. В свою очередь, в честь бабушки Казимиры Янушевский был назван Казимир Дзержинский, родившийся в 1875 г., а в честь ее мужа Игнатия Янушевского — Игнатий Дзержинский, родившийся в 1879 г. Станислав Дзержинский был назван либо в честь Станислава Пилляр, мужа старшей из сестер Янушевских, либо в честь одного из братьев Игнатия Янушевского. Поэтому представляется, что имело место и падение в погреб со счастливым окончанием этого происшествия, и наименование в честь близкого родственника.
В ноябре 1877 г. Феликс Дзержинский был крещен по католическому обряду. В метрике Деревнинского римско-католического приходского костела на 54–55 листах, под № 196 была сделана следующая запись: «Тысяча восемьсот семьдесят седьмого года, ноября шестнадцатого дня в Деревнинском римско-католического приходского костела окрещен младенец по имени Феликс Киприаном Жебровским, администратором того же костела, с совершением всех обрядов таинства дворян: коллежского советника Эдмунд-Руфина Осиповича и Гелены, урожденной Янушевской, Дзержинскими, супругов сын, родившейся сего года, августа 30 дня в имении Дзержиново Деревнинского прихода. Восприемниками были дворяне Франц Вержбовский с Юзефью Войновою, вдовою»