В ходе личного обыска Либерберга, который продолжался далеко за полночь (протокол датирован 21.08.1936 г.), были изъяты: партбилет нового образца № 0501520, членский билет ВЦИК № 269, значок ВЦИК, членский билет крайисполкома ДВК № 131, профсоюзный билет № 150751, паспорт № 140368, разная служебная переписка, телеграммы, материалы к докладу, заявления, статьи на русском и еврейском языках, различные письма, адреса и собственноручно написанная им перед отъездом из Биробиджана автобиография (в ней он указывает год рождения — 1899, что расходится с известными другими документами, ранее опубликованными, где годом его рождения значится 1897. Это одна из загадок Иосифа Либерберга.). На вопрос о наличии у него оружия Либерберг заявил, что у него имеется револьвер «Браунинг», который находится по месту жительства в Биробиджане.
Через неделю после ареста Либерберга доставили из Москвы в Киев, где 29.08.1936 г. оперуполномоченный СПО (секретно-политического отдела) УГБ НКВД УССР Гречихин вынес постановление об избрании меры пресечения в отношении И. Либерберга — содержание под стражей в спецкорпусе Киевской тюрьмы. Только после переезда в Киев Иосиф начал догадываться о причинах своего ареста. Он был в курсе многих политических событий в стране, несмотря на то, что почти год не выезжал из Биробиджана.
После убийства Кирова на фоне продолжавшейся антитроцкистской кампании НКВД развернул политические преследования против всех, кто ранее придерживался троцкистской платформы или даже взглядов. Сталин решил расправиться со Львом Троцким и всеми, кто хоть словом высказывался в его поддержку, в первую очередь — по политическим вопросам. Начавшийся в августе в Москве процесс над убийцами Кирова должен был вывести на Центр, который занимался подготовкой террористических актов, в том числе подготовкой убийства Сталина, и получал прямые указания из-за границы от Троцкого. По этому делу проходили: Мрачковский, Евдокимов, Дрейцер, Рейнгольд, Бакаев, Пикель, Каменев, Зиновьев, Смирнов, Ольберг, Берман-Юрин, Гольцман, Н. Лурье, М. Лурье, Тер-Ваганян, Фриц Давид.
Газеты ежедневно сообщали об этих событиях, и не вызывало сомнения, какие решения будут вынесены по этому делу. По всей стране НКВД была поставлена задача: раскрыть террористические центры на местах. Даже там, где их не было, их «находили», выдумывая для этого и создавая троцкистское подполье, террористические группы, включая в их состав всех, кто даже в кулуарах высказывал недовольство жизнью, политикой партии.
Первый допрос Либерберга состоялся 2 сентября 1936 года. Иосиф признал, что в 1923 году во время троцкистской оппозиции выступал в военно-политической школе в Киеве с поддержкой троцкистской платформы, но в январе 1924 года отошёл от троцкистской оппозиции. Скрывать не было смысла, так как об этом он написал в автобиографии. В тот период времени он был связан с работавшими в ВПШ троцкистами Корытным, Карповым, Портновым и другими. Позднее по работе сталкивался с троцкистами Маренко и Голубенко, но никакой организационной троцкистской связи с ними не было.