Полиция внимательно следила за деятельностью комитета и в феврале 1904 года арестовала многих из его активистов, в том числе и Розенфельда. Его поместили в московскую окружную тюрьму. К этому времени он уже поддерживал большевиков, во всяком случае, в тюрьме им была написана работа с критикой позиции новой редакции «Искры», оказавшейся под влиянием меньшевиков. Она ходила в тюрьме по рукам «политических», но потом куда-то затерялась, и ее текст до нашего времени не дошел. По некоторым данным, именно ее он впервые подписал псевдонимом «Каменев».
В тюрьме Розенфельд просидел пять месяцев и вышел на свободу 15 июля. Его освобождению опять-таки способствовали хлопоты родителей. Мать внесла за Льва залог в тысячу рублей, а отец пообещал выплачивать ему 35 рублей в месяц, с условием, что он возьмется за ум и начнет жить как «все приличные люди». Он действительно попытался снова продолжить образование и поступить в Юрьевский университет, но ему и на этот раз отказали. Департамент полиции прислал на «бывшего студента Розенфельда» далеко не самую блестящую в политическом отношении характеристику: «Бывший студент Московского университета Лев Борисов Розенфельд, по имевшимся сведениям, по возвращении своем из-за границы… поселился в гор[оде] Москве, где, после арестов видных деятелей Московской социал-демократической организации, занялся формированием групп опытных пропагандистов социал-демократических идей. Организованная им группа присвоила себе наименование группы социал-демократов и, заведя сношения с рабочей средой, усиленно стала агитировать за устройство 19 февраля с [его] г[ода] уличной политического характера демонстрации. Изложенные сведения о Розенфельде послужили основанием к привлечению его при Московском губернском жандармском управлении к дознанию о названной выше противоправительственной группе. По обыску у Розенфельда отобрана компрометирующая его в политическом отношении переписка. На допросе, не признавая себя виновным, Розенфельд отказался от дачи каких-либо объяснений».
Формально полицейские чиновники не могли запретить университету принять подобного студента, но указывали, что вся ответственность за его поведение ложится на само учебное заведение. В такой ситуации университетское начальство предпочло не рисковать.
Розенфельду было предписано жить в Калуге или в Тифлисе. Он решил вернуться на Кавказ. В 1903 году в Тифлисе был создан Кавказский союзный комитет РСДРП, издававший нелегальные газеты «Брдзола» («Борьба») и «Пролетариат». Лев Розенфельд, которому тогда только-только исполнился 21 год, стал членом этого комитета. Он вел пропагандистскую работу, выступал на митингах и т. д. На Кавказе тогда тоже начинались дискуссии между большевиками и меньшевиками. В местном союзном комитете состояли будущие видные представители обоих течений: например меньшевик Ной Жордания или большевики Степан Шаумян, тот же Каменев, Симон Тер-Петросян (Камо) и, наконец, сам Сталин. Что касается Сталина, то с начала 30-х годов официальная советская историография утверждала, что именно он в 1904 году, после возвращения из сибирской ссылки, встал во главе комитета и сыграл решающую роль в том, что он поддержал большевиков. С этим спорил Троцкий, к тому времени уже высланный из СССР. Он писал, что главной фигурой в Кавказском комитете в тот момент был молодой Каменев, и «возможно, что именно Каменев, только что прибывший из-за границы, содействовал обращению Кобы в большевизм. Но имя Каменева подверглось изгнанию из истории партии за несколько лет до того, как сам Каменев был расстрелян по фантастическому обвинению».