О том, что означало слово «удовлетворительно» за успехи, внимание и прилежание, видно из свидетельства об окончании Феликсом семи классов гимназии. В свидетельстве стояли следующие оценки: одна «четверка» (по Закону Божьему), две «двойки» (по русскому и греческому языкам), остальные были «тройки».
Но важнейшей отличительной особенностью Дзержинского было постоянное стремление учиться. Часто в его письмах из Нолинска, Кайгородского, Александровского централа, Варшавской цитадели встречаются слова: «я учусь», «я читаю, учусь», «с утра до ночи читаю», «проходят дни за чтением», «время я провожу преимущественно за чтением». Он выражает удовольствие наличием в г. Нолинске земской библиотеки, тем, что в Александровском централе «есть книги», в Варшавской цитадели библиотека, в Орловской каторжной тюрьме — «довольно хорошая библиотека».
На путь революционной борьбы с царским режимом Дзержинский встал еще будучи учеником 7-го класса 1 — й Виленской гимназии. Пройдя царские тюрьмы и каторгу, испытал на себе действие царской карательной машины, противостоя 20 лет самодержавному режиму. Но путь в революционное движение тоже был нелегким. Как и вся польская шляхта и польское дворянство того времени, он воспитывался в родительском доме в духе строгого католицизма и польского патриотизма. То же самое продолжалось и в первые годы его пребывания в гимназии. В то время в Вильно, по всей Литве и по Белоруссии царскими жандармами, чиновниками и учителями преследовалось все польское и католическое. Эти вполне естественно вызывало протест среди молодого поколения, своими глазами не видевшего виселиц Муравьева-Вешателя, но знавших это по рассказам матерей и живо чувствовавших на каждом шагу свое бессилие[37].
Как пытливый гимназист, Дзержинский увлекался библейскими и евангельскими мифами и легендами, церковным учением. В 1922 г. он вспоминал: «Будучи еще мальчиком, я мечтал о шапке-невидимке и уничтожении всех москалей. Будучи в гимназии до 6 класса, я был очень религиозен, даже собирался поступить в римско-католическую духовную семинарию. Мать и один ксендз отговорили меня от этого. Из-за религиозной практики у меня были даже ссоры со старшим братом. Будучи в 4-м классе, я заставлял их Богу молиться. Когда, уже будучи студентом, приехал на каникулы старший брат и спросил меня, как же я представляю себе своего Бога? Я ответил ему: «Бог — в сердце». И сказал: «Если я когда-нибудь приду к выводу, что Бога нет, пущу себе пулю в лоб. Однако этого не случилось. Когда я был в 6-м классе гимназии, произошел перелом — в 1894 году. Тогда я целый год носился с тем, что Бога нет, и всем горячо доказывал это»