В марте 1924 года члены Центрального бюро были арестованы. Их ждала ссылка в административном порядке в Среднюю Азию, но ее удалось избежать: для них раздобыли разрешения на въезд в Палестину, и, по их просьбе, ссылка была им заменена высылкой из России навечно.
Массовые гонения на сионистов из года в год усиливались и наказания все более ожесточались.
Только за одну ночь на 2 сентября 1924 года в 150 населенных пунктах по всей России было арестовано около 3 тысяч сионистов. Аресты продолжались и после. Вместе с тем власти отказались от показательных процессов над «контрреволюционерами с еврейской улицы», так как убедились, что симпатии еврейской широкой публики оказываются именно на стороне обвиняемых и судимых сионистов. Поэтому судебное следствие и вынесение приговора происходило за закрытыми дверьми.
В большинстве случаев сионистов приговаривали к сроку от трех до десяти лет принудительных работ в лагерях, сначала в центральной России, а позднее в Сибири, на Урале, в Киргизии, Средней Азии, а также на Соловецких островах, где суровый климат и ужасные условия содержания постепенно физически убивали заключенных.
Эта волна преследований нанесла тяжелый удар подпольному сионистскому движению, состоявшему, начиная с 1925–1926 годов, в основном из течений трудового сионизма (сионисты-социалисты, Цеирей Цион и связанные с ними молодежные организации).
Тем не менее движение не было сломлено. В то время как остальные старые социалистические организации, русские и еврейские, фактически прекратили свое существование из-за преследования властей, сионистско-социалистическое движение отличалось смелостью действий своих организаций и союзов, их публичными и нелегальными выступлениями, как, например, массовыми демонстрациями, распространением листовок в тысячах оттисков и т. д. (Такой факт, в частности, был авторитетно засвидетельствован в свое время Ицхаком Виленчуком, одним из руководителей Цеирей Цион, в меморандуме Центру Хапоэль хацаир от 15 апреля 1926 года.).
Это вызывало немалое раздражение у тоталитарной власти и ее подручного, специалиста по «еврейскому вопросу», — Евсекции.
Власти пытались по возможности расколоть движение изнутри и деморализовать его ряды. Обманом и принуждением они старались выудить у заключенных, особенно у членов молодежных организаций, письменное раскаяние в своих прошлых действиях и заявление, что они решили порвать с сионизмом. В тех случаях, когда ГПУ это удавалось после обещания, что подписка об отходе от сионизма не будет предана гласности, эти заявления с шумом публиковались в газетах. Такая практика властей не раз приводила к самоубийству обманутых следователями юношей и девушек.