Вернувшись в Киев, Успенский стал лихорадочно искать выход из создавшейся ситуации. Первым делом он решил выяснить возможность нелегального, вместе с семьей, перехода советско-польской границы. Но нелегально перейти границу оказалось невозможно. И тогда Успенский решил спасаться в одиночку, затерявшись на бескрайних просторах страны. С этой целью он приказал оперативно-техническому отделу своего наркомата изготовить пять комплектов фиктивных документов. Четыре комплекта он уничтожил, а один, на имя Шмашковича Ивана Лаврентьевича, оставил у себя.
Утром 14 ноября 1938 года Успенскому позвонил Ежов и сказал, что его вызывают в Москву. При этом он добавил: «Плохи твои дела», а в конце разговора заметил: «А в общем, ты сам смотри, как тебе ехать и куда именно ехать». Успенский сразу же понял, что в Москве его ждет арест, и решил немедленно бежать. В шесть часов вечера он вызвал машину, сообщив секретарю, что собирается съездить домой пообедать и заодно переодеться в штатское, так как вечером у него намечена встреча с агентом в городе. В девять часов вечера он вернулся в свой кабинет и продолжил работу. Наконец, в пять часов утра он покинул здание наркомата, сказав, что хочет прогуляться пешком. Больше его никто из работников наркомата не видел.
Когда на следующий день Успенский не появился на работе, в наркомате поднялся переполох. Позвонивший ему на квартиру секретарь узнал, что Успенский дома так и не появлялся. Было решено вскрыть кабинет наркома. Там на рабочем столе была обнаружена записка: «Ухожу из жизни. Труп ищите на берегу реки». Впавшие в панику подчиненные Успенского немедленно доложили о случившемся Ежову, а сами снарядили поисковую группу, в которую входили водолазы, на берег Днепра. Там, в кустах, была обнаружена одежда наркома, но его тело так и не было найдено.
Интересные воспоминания по поводу исчезновения Успенского оставил Н.С. Хрущев, в то время занимавший пост первого секретаря ЦК компартии Украины. Вот что он пишет:
«Звонит мне Сталин: «Есть показания на наркома внутренних дел Украины Успенского, и они у нас не вызывают сомнений». По телефону мне послышалось, что тот говорит об Усенко, комсомольском работнике. Сталин: «Можете арестовать его сами?» — «Можем, если будет поручено». — «Арестуйте!» Но когда он начал уточнять детали, я понял, что речь идет об Успенском. Не успел я положить трубку, Сталин опять звонит: «Насчет Успенского ничего не нужно делать. Мы это сами сделаем. Отзовем его в Москву и в пути арестуем». А я собирался ехать в Днепропетровск. Уехал. Успенского же отозвали в Москву. У меня имелось предчувствие, что он не поедет туда, потому что догадывается, что может быть арестован. И, уезжая, я сказал Коротченко, председателю Совнаркома Украины: «Ты позванивай якобы по делам Успенскому, понаблюдай за ним, ведь ты остаешься тут за меня». Утром приехал я в Днепропетровск, а мне туда звонит Берия. Именно Берия, а не Ежов: «Вот, ты там разъезжаешь, а твой Успенский сбежал». — «Как?» — «А вот так, сбежал, и все». Я срочно вернулся в Киев. Действительно, Успенского нигде нет. Потом, когда я опять был в Москве, Сталин сказал мне, что, видимо, Ежов его предупредил: «Ежов подслушал нас, когда я с вами разговаривал, и предупредил Успенского по телефону».