В 1931 году Серебрянского арестовали в Румынии, но вскоре он был освобожден и продолжил свою деятельность. В 1935 году получил звание старшего майора госбезопасности. 13 июля 1934 года был утвержден руководителем спецгруппы особого назначения (СГОН) при НКВД СССР.
Серебрянский бывал в командировках в Китае и Японии. За операции в период национально-освободительной войны в Испании награжден орденом Ленина.
В 1938 году над его головой стали собираться тучи. 13 июля 1938 года из Парижа исчез резидент ИНО в Испании майор госбезопасности Александр Михайлович Орлов – Лейба Лазаревич Фельдбин. Неожиданно вызванный в Москву, он посчитал, что его в столице ожидает расстрел, и вместе с семьей бежал в США, прихватив 60 тысяч долларов (по тем временам очень солидная сумма). Бегство Орлова бросило тень на руководящие кадры разведки, в том числе и на Серебрянского. Осенью 1938 года он был отозван из Франции и 10 ноября вместе с женой Полиной Натановной (умерла в 1993 году) арестован в Москве у трапа самолета. Ордер на их арест подписал новый начальник ГУГБ НКВД Лаврентий Берия.
7 июля 1941 года Военная коллегия Верховного суда приговорила Серебрянского к расстрелу с конфискацией имущества, а его жену – к 10 годам лагерей за недоносительство о враждебной деятельности.
К арестам Серебрянскому было не привыкать – дважды, в декабре 1921 года и в марте 1923 года, он был арестован своими же сослуживцами.
Приговор от 7 июля 1941 года, вынесенный Серебрянскому, не был приведен в исполнение. Шла Великая Отечественная война, и разведке катастрофически не хватало опытных сотрудников. Поэтому в декабре 1941 года по ходатайству начальника 4-го управления НКГБ Павла Анатольевича Судоплатова Серебрянский был освобожден и назначен начальником отделения, в задачу которого входила вербовка агентуры для глубокого оседания в странах Западной Европы и в США. В этой должности Серебрянский прошел всю войну, лично участвуя во многих разведывательных операциях. В 1945 году ему было присвоено звание полковника.
В августе 1946 года Серебрянский в звании полковника госбезопасности вышел на пенсию по выслуге лет… После смерти Сталина он по просьбе Судоплатова в апреле 1953 года вновь вернулся в разведку и в мае того же года был назначен помощником начальника 9-го (диверсионного) отдела в создаваемом Берией МВД. Это назначение сыграло роковую роль в его судьбе: в августе 1953 года его вместе с женой вновь арестовали. В 1955 году жену Серебрянского освободили, но сам он оставался в тюрьме, хотя и перенес несколько инфарктов. В конце марта 1956 года на допросе у следователя военной прокуратуры генерал-майора П. Цареградского он неожиданно умер от сердечного приступа. Его жена долгие годы добивалась реабилитации мужа. Но его реабилитировали только в мае 1971 года. В апреле 1996 года Указом Президента РФ был восстановлен в правах на изъятые при аресте государственные награды.