Его арестовали вместе с женой 10 ноября 1938 года. Допрашивал его будущий начальник военной контрразведки СМЕРШ Виктор Семенович Абакумов, тогда еще лейтенант госбезопасности и начальник отделения во 2-м (секретнополитическом) отделе главного управления государственной безопасности НКВД. Очень старался отличиться. Допрашивал так, что Серебрянский, человек не робкого десятка, все подписал.
Сохранилось следственное дело № 981168 по обвинению Серебрянского. На странице 35-й дела резолюция наркома: «Тов. Абакумову! Крепко допросить. Л. Берия. 13.XI.1938».
Через много лет, в 1953-м, когда арестовали уже самого Лаврентия Павловича, прокурор СССР Роман Андреевич Руденко поинтересовался:
– Что означало «крепко допросить»?
Берия предпочел уклониться от прямого ответа:
– Не могу сейчас объяснить, что означало слово «крепко».
16 ноября 1938 года Берия сам пожелал допросить Якова Серебрянского. Недавние сослуживцы обвиняли его в том, что он перебросил на советскую территорию группу белогвардейцев, шпионов, террористов и по заданию бывших руководителей ведомства госбезопасности Ягоды и Ежова подбирал яды для терактов против руководителей партии и правительства.
Но вопрос о нем не был решен. 3 августа 1939 года Берия распорядился приостановить дело Серебрянского до особого распоряжения. Яков Исаакович продолжал сидеть. 6 октября 1940 года в прокуратуру Союза ССР ушло обвинительное заключение, в котором Серебрянский именовался агентом французской и британской разведок и участником антисоветского заговора внутри НКВД. Но санкции на расстрел не поступило, так что дело положили под сукно.
А когда началась война, 7 июля 1941 года Военная коллегия Верховного суда спешно приговорила его к расстрелу – за измену родине, шпионаж и участие в антисоветской заговорщической организации, в которую его вовлек бывший председатель ОГПУ Ягода. Его жене дали десять лет. Но расстрелять не успели – вмешался майор госбезопасности Павел Судоплатов. Ему поручили вести диверсионную борьбу в немецком тылу. Для эффективной работы понадобились опытные кадры. Он попросил Берию освободить Серебрянского и других видных чекистов.
– Вы уверены, что они нам нужны? – переспросил Берия.
– Совершенно уверен.
Выяснилось, что большинство нужных людей уже расстреляны. А Серебрянскому и его жене повезло. Лаврентий Павлович пошел Судоплатову навстречу, сказал:
– Свяжитесь с Кобуловым, пусть освободят.
Комиссар госбезопасности 3-го ранга Богдан Захарович Кобулов был заместителем наркома госбезопасности.
Разумеется, Берия не мог решить это единолично. В 1953 году пояснил, что заручился согласием вождя: