Как пытливый гимназист, Дзержинский увлекался библейскими и евангельскими мифами и легендами, церковным учением. В 1922 г. он вспоминал: «Будучи еще мальчиком, я мечтал о шапке-невидимке и уничтожении всех москалей. Будучи в гимназии до 6 класса, я был очень религиозен, даже собирался поступить в римско-католическую духовную семинарию. Мать и один ксендз отговорили меня от этого. Из-за религиозной практики у меня были даже ссоры со старшим братом. Будучи в 4-м классе, я заставлял их Богу молиться. Когда, уже будучи студентом, приехал на каникулы старший брат и спросил меня, как же я представляю себе своего Бога? Я ответил ему: «Бог — в сердце». И сказал: «Если я когда-нибудь приду к выводу, что Бога нет, пущу себе пулю в лоб. Однако этого не случилось. Когда я был в 6-м классе гимназии, произошел перелом — в 1894 году. Тогда я целый год носился с тем, что Бога нет, и всем горячо доказывал это»>>{38}.
Феликс увлекся чтением книг разных философов, таких как Фихте, Либих, Кант, Гегель, Дарвин, которые своим материализмом отвлекли его от религии. В 16 лет, после знакомства с марксизмом Дзержинский разуверился не только в догмах церкви, но и в существовании божественного начала. И все же, став атеистом, в критических ситуациях Бога не забывал. Вспоминая о побеге из Верохоленска в 1902 г., он отметил, что когда бежал с Сладкопевцевым, «вышли мы на берег, крестясь и благодаря господа Бога за спасение жизни»>>{39}.
В воспоминаниях Дзержинского, записанных В. Мицкевичем-Капсукасом в конце 1922 г. во время возвращения вместе с ним из Тифлиса, он рассказал, что в 1894 г. попал в кружок одного из основателей социал-демократии Польши и Литвы, в последующем одного из идеологов литовской буржуазии Альфонса Моравского, «который дал мне читать «Эрфуртскую программу». В 1895 г. у меня уже был свой кружок, которым я руководил. Знакомил членов кружка с взглядами на вселенную, развитием первобытного общества. Наконец, переходил к «Эрфуртской программе»». В одном из его кружков ремесленных и фабричных учеников состоял и один из будущих вождей Бунда Либер с сестрами.
В эти годы положение семьи Дзержинских было очень трудным. У тридцатидвухлетней матери на руках осталось восемь детей, старшей — Альдоне исполнилось всего лишь 12 лет, младшему, Владиславу, — немногим более года. Чтобы иметь постоянный заработок, Феликс поступил работать в переплетную мастерскую и давал уроки отстающим ученикам.
«С массами я начал знакомиться при содействии одного рабочего поэта, — отмечал Дзержинский. — Заходил вместе с ним на вечеринки и в кабачки, где после получки собирались рабочие. Я там вел агитацию на экономической почве. О политике (царе и прочих) нельзя было говорить. Когда однажды в кабаке возле Стефанского рынка один старый рабочий заговорил о восстании, другие рабочие избили его бутылками. Только после упорной борьбы в кружках перешли от кружковой работы к массовой». Но в большей мере это была экономическая агитация. Он говорил о тяжелом экономическом положении рабочих и неимоверной эксплуатации, призывая их к борьбе за улучшение своего экономического положения. Дзержинский в своих воспоминаниях писал: «Необходимость соединения экономической борьбы с политической я себе усвоил только в ссылке».