В конце ноября наркомом стал Берия. Ознакомившись с деятельностью Спецгруппы ГУГБ и ее руководителя, он, как и Ежов, усомнился в преданности Серебрянского. Особое сомнение вызывал пресловутый «еврейский вопрос». Из числа более чем двухсот агентов СГОН значительную часть составляли евреи (что и понятно – после прихода нацистов к власти евреи активно сотрудничали с советскими спецслужбами). В одной из бесед с Деканозовым Берия даже сказал: «Серебрянский устроил на казенное жалованье еврейскую родню, которая оказались ни к чему не годной, и теперь должен понести за это ответственность».
Следствие по делу Серебрянского было поручено начальнику 2-го отделения 2-го (Секретно-политического) отдела ГУГБ В.С. Абакумову. Первый раз Яков Исаакович был допрошен 13 ноября 1938 года, однако необходимых признательных показаний от него добиться не смогли. На протоколе допроса имеется резолюция Л.П. Берии: «Тов. Абакумову! Хорошенько допросить!» После этого к Якову Исааковичу стали применять «интенсивные методы» дознания. Как позднее рассказывал сам Серебрянский, 16 ноября 1938 года на допросе у Абакумова с участием начальника 2-го отдела ГУГБ Б.З. Кобулова и наркома Берии его жестоко избили и, спасая жизнь, он вынужден был дать ложные показания о своей «антисоветской деятельности». На допросах Яков Исаакович называл вымышленные фамилии – это позволяло тянуть время и не бросать тень подозрения на тех, кто действительно работал с ним.
С 5 декабря 1938 года, после назначения Виктора Абакумова начальником Управления НКВД Ростовской области, следствие по делу Серебрянского поочередно вели С.Р. Мильштейн, П.И. Гудимович и П.А. Перепелица. 25 января 1939 года Якова Исааковича перевели из Лубянки в Лефортовскую тюрьму. До 13 февраля 1939 года, то есть более трех месяцев после ареста, он содержался под стражей без санкции прокурора! Еще через две недели, 21 февраля, Серебрянский был уволен из органов НКВД «по факту ареста».
Полина Серебрянская впервые была допрошена 28 февраля 1939 года (!). Ее обвиняли в недонесении на собственного мужа.
Тем временем реальный, а не придуманный с подачи «вождя и учителя» враг не дремал. В сообщении ТАСС от 27 января 1939 года говорилось:
«25 января погранвойска Грузинской ССР уничтожили трех человек, пытавшихся перейти границу со стороны Турции. Эти трое – троцкисты, пользовавшиеся поддержкой фашистов. У убитых были найдены пистолеты, ручные гранаты и подробные карты местности. Целью преступной группы было убийство Иосифа Виссарионовича Сталина, находящегося в Сочи. Однако пограничники заблаговременно узнали о преступном плане и истребили злоумышленников»