В феврале 1936 года Успенский был направлен в Западно-Сибирский край заместителем начальника краевого УНКВД. Но пробыл там недолго. В октябре 1936 года новым наркомом НКВД СССР становится Ежов, развернувший по распоряжению Сталина очередной этап «большого террора». Для выполнения указаний Сталина Ежову потребовались люди, способные выполнять деликатные поручения особой важности и не раз доказывавшие свою преданность. Одним из таких людей и был Успенский. Поэтому, когда в марте 1937 года, как «не обеспечивший чекистской работы по области», был снят с должности начальника УНКВД по Оренбургской области Н. Райский, на его место назначили Успенского. Перед назначением на новую должность Успенского принял сам Ежов, дав при встрече следующее напутствие:
«Не считаясь с жертвами, нанести полный оперативный удар по местным кадрам. Да, могут быть и случайности. Но лес рубят — щепки летят. Имей в виду, в практической работе органов НКВД это неизбежно. Главное, что требуется от тебя — это показать эффективность своей работы, хорошие результаты, блеснуть внушительной цифрой арестов».
Указания своего покровителя Успенский принял к безусловному исполнению. В результате за короткое время в Оренбурге было сфальсифицировано несколько громких дел, в том числе и о военизированной белогвардейской организации. И только по этому делу местными органами НКВД было арестовано несколько тысяч человек. Ежов был доволен успехами своего назначенца, и на состоявшемся в июне 1937 года Всесоюзном совещании руководства НКВД поставил его в пример другим. А уже в январе 1938 года Ежов назначает Успенского наркомом внутренних дел Украины.
Прибыв в Киев, Успенский заручается санкцией ЦК ВКП(б) на арест тридцати шести тысяч человек с вынесением им приговора во внесудебном порядке, то есть постановлением тройки при НКВД УССР. Надо ли говорить, что маховик репрессий на Украине после назначения Успенского завертелся в полную силу. Но в июле 1938 года первым заместителем Ежова был назначен Л. Берия. Опытный аппаратчик Ежов прекрасно понял, что его время подходит к концу. Как в свое время он уничтожил всех руководителей НКВД, занимавших свои посты при Г. Ягоде и готовивших первые московские процессы, так и Берия уберет его и его выдвиженцев. В августе 1938 года, когда в Москве собралась вторая сессия Верховного Совета СССР, Ежов пригласил к себе на дачу Успенского и другого своего любимчика — М. Литвина. За обедом, выпив, по обыкновению, немало водки, Ежов сказал своим фаворитам: «Мы свое дело сделали и теперь больше не нужны. От нас будут избавляться как от ненужных свидетелей».