Оказавшись в Варшаве, Дзержинский организовал Марксистскую партию польского пролетариата, а затем Социал-демократическую партию Королевства Польского и Литвы. В 1900 году его ждал новый арест, а в 1902 году – ссылка в далекую Сибирь сроком на пять лет. Но вначале было за ключение в Александровскую центральную пересыльную тюрьму под Иркутском, где неугомонный бунтарь организовал и возглавил восстание, пытаясь таким способом добиться улучшения содержания заключенных. Потом, следуя по этапу к месту ссылки, Дзержинский совершил уже второй удачный побег и благополучно вернулся в Варшаву, на этот раз ему, вероятно, помог приобретенный ранее опыт беглого каторжника.
План побега из ссылки созрел у Дзержинского во время пути. Он поведал о своем намерении бежать одному знакомому ссыльному, Г. Валецкому. Вместе они решили, что Дзержинский и эсер-террорист Сладкопевцев постараются остаться под видом больных в Верхоленске якобы до следующей партии ссыльных. Сами же тем временем успеют подготовиться и оттуда совершат побег.
Заговорщикам все удалось сделать по намеченному плану: через десять дней после отправки из Александровского, уже находясь в Верхоленске, они обратились к местному фельдшеру. Тот их осмотрел и выдал соответствующую справку: «Страдающие туберкулезом легких (Дзержинский и Сладкопевцев) ввиду сильного упадка сил и общего состояния здоровья в настоящее время, при холодной и сырой погоде, не могут следовать далее, так как положение их очень серьезно, почему полагал бы необходимым отправить в Верхоленский приемный покой до следования 2-й арестантской партии при более теплой погоде».
Данная справка затем была предоставлена начальнику конвоя, который согласился оставить ссыльных временно в Верхоленске. Последние же, добившись желаемого, начали готовиться к побегу: купили лодку и 12 июня 1902 года ночью спустились на ней по реке до деревни Жигалово, откуда далее отправились по шоссе к Сибирской железной дороге. Уже через семнадцать дней после побега Дзержинский был в Варшаве, а вскоре переправился в столицу Германии.
В Берлине Дзержинский открыл для себя нечто новое: он познакомился с газетой «Искра», затем – с увлекательнейшей для всех молодых революционеров тех лет книгой «Что делать?». После этого Дзержинский с еще большим рвением включился в борьбу за создание революционной марксистской партии. И наконец на IV съезде РСДРП (объединительном), проходившем в Стокгольме в 1906 году, молодой революционер впервые лично встретился с Лениным.
Здесь, на съезде, Социал-демократическая партия Польши и Литвы, детище Дзержинского, была принята в РСДРП, а сам ее создатель был избран членом ЦК РСДРП. Но, увы, вскоре свободная деятельность Дзержинского закончилась: уже в декабре 1906 года его снова арестовали, теперь уже в третий раз. Его ждала ссылка на вечное поселение в Сибирь, но в конце 1909 года Дзержинский, уже тяжело больной, совершил очередной побег и нелегально уехал за границу. Но и там он не перестал заниматься пропагандистской и организаторской деятельностью и даже руководил подпольной работой.