Месяцем позже был арестован Сталин, просидевший в тюрьме до суда в апреле 1903 года, приговоренный затем к трем годам высылки в Сибирь. Оттуда он бежал и вернулся в Тифлис в феврале 1904 года.(14)
Будучи в Сибири, Сталин написал письмо своему другу в Лейпциг с выражением поддержки Ленинской позиции и просьбой о высылке ему копии "Письма товарищу о наших организационных задачах". На съезде Социал-демократической Партии в августе 1903 года произошел раскол на большевиков и меньшевиков, грузинские делегаты оказались в числе последних. Сталин, уже прочитавший к тому времени "Что делать?", без колебаний поддержал большевиков. "Это было решение, требовавшее убежденности и отваги. Ленин и большевики имели немного сторонников в Закавказье", писал Грей.(15) В 1905 году лидер грузинских меньшевиков Жордания выступил с критикой большевистских взглядов, защищаемых Сталиным, тем самым, подтвердив важность Сталина в грузинском революционном движении. В том же году в работе "Вооруженное восстание и наша тактика" Сталин отстаивал необходимость вооруженной борьбы для свержения царизма, давая отпор меньшевикам.(16)
Сталину было 26 лет, когда он впервые встретился с Лениным на большевистском съезде в декабре 1906 года в Финляндии.(17)
В 1905-1908 годах Кавказ был местом интенсивной революционной деятельности, полиция расследовала 1150 "террористических актов". Сталин играл в этом важную роль. В 1907-1908 годах Сталин вместе с Орджоникидзе и Ворошиловым возглавлял секретариат союза нефтяников, объединявшего 50 тысяч рабочих-нефтяников в Баку. Они добились права избирать представителей рабочих, которые могли встречаться на конференциях для обсуждения трудового соглашения в части размеров жалования и условий труда. Ленин высоко ценил эту борьбу, которая велась в условиях, когда большинство революционных ячеек в России прекратили свою деятельность.(18)
В марте 1908 года Сталин был второй раз арестован и приговорен к трем годам заключения. Но в июне 1909 года он бежал и вернулся в Баку, где нашел партию в кризисе, с прекратившимся изданием газеты. Через три недели после возвращения Сталин возобновил выпуск газеты, написав в ней, что "... было бы странно полагать, что орган, издающийся за границей, может объединить работу в партии". Сталин настаивал на необходимости ведения подпольной деятельности, ставил вопрос о создании координирующего центра в России и издании общероссийской газеты также в России, чтобы информировать, вдохновлять и восстанавливать направление партийной деятельности. Предчувствуя возрождение рабочего движения, он повторил эти предложения в 1910 году.(19)