В начале 1897 г. меня партия послала как агитатора и организатора в Ковно — промышленный город, где тогда не было социал-демократической организации и где недавно провалилась организация ППС. Здесь пришлось войти в самую гущу фабричных масс и столкнуться с неслыханной нищетой и эксплуатацией, особенно женского труда. Тогда я на практике научился организовывать стачку.
Во второй половине того же года меня арестовывают на улице по доносу рабочего-подростка, соблазнившегося десятью рублями, обещанными ему жандармами. Не желая обнаружить своей квартиры, называюсь жандармам Жебровским. В 1898 г. меня высылают на три года в Вятскую губернию — сначала в Норильск, а затем, в наказание за строптивый характер и скандал с полицией, а также за то, что стал работать набойщиком на махорочной фабрике, высылают на 500 верст дальше на север, в село Кайгородское, В 1899 г. на лодке бегу оттуда, так как тоска слишком замучила. Возвращаюсь в Вильно. Застаю литовскую социал-демократию ведущей переговоры с ППС об объединении. Я был самым резким врагом национализма и считал величайшим грехом, что в 1898 г., когда я сидел в тюрьме, литовская социал-демократия не вошла в единую Российскую социал-демократическую рабочую партию, о чем и писал из тюрьмы к тогдашнему руководителю литовской социал-демократии д-ру Домашевичу. Когда я приехал в Вильно, старые товарищи были уже в ссылке — руководила студенческая молодежь. Меня к рабочим не пустили, а поспешили сплавить за границу, для чего свели меня с контрабандистами, которые и повезли меня в еврейской «балаголе» по Вилкомирскому шоссе к границе. В этой «балаголе» я познакомился с одним пареньком, и тот за десять рублей в одном из местечек достал мне паспорт. Доехал тогда до железнодорожной станции, взял билет и уехал в Варшаву, где у меня был один адрес бундовца.
В Варшаве тогда не было социал-демократической организации. Только ППС и Бунд. Социал-демократическая партия была разгромлена. Мне удалось завязать с рабочими связь и скоро восстановить нашу организацию, отколов от ППС сначала сапожников, затем целые группы столяров, металлистов, кожевников, булочников. Началась отчаянная драка с ППС, кончавшаяся неизменно нашим успехом, хотя у нас не было ни средств, ни литературы, ни интеллигенции. Прозвали рабочие меня тогда Астрономом и Франком.
В феврале 1900 года на собрании меня уже арестовали и держали сперва в X павильоне Варшавской цитадели, затем в Седлецкой тюрьме.
В 1902 году выслали на пять лет в Восточную Сибирь. По дороге в Вилюйск летом того же года бежал на лодке из Верхоленска вместе с эсером Сладкопевцевым. На этот раз поехал за границу — переправу мне устроили знакомые бундовцы. Вскоре после моего приезда в Берлин, в августе месяце, была созвана наша партийная — социал-демократии Польши и Литвы — конференция, где было решено издавать «Червоны штандар». Поселяюсь в Кракове для работы по связи и содействию партии из-за кордона. С того времени меня называют