Как видно из воспоминаний Н. Хрущева, отличавшийся подозрительностью Сталин не поверил в самоубийство Успенского. По его личному распоряжению новый парком НКВД СССР Л. Берия (Ежов был снят с должности почти сразу же после исчезновения Успенского), организовал поиски «утопленника». В Москве был создан штаб по руководству поисками, а в областных управлениях НКВД — специальные розыскные группы. Фотографии Успенского были разосланы во все отделения милиции. Была арестована его жена, а за всеми родственниками, особенно за теми, кто проживал в Москве, было установлено постоянное наблюдение. В результате один из двоюродных братьев Успенского, работавший на железной дороге в Ногинске, обнаружив слежку и решив, что его скоро арестуют, покончил с собой.
Что касается Успенского, то он, оставив одежду на берегу Днепра, отправился на вокзал, где жена вручила ему купленный для него билет до Воронежа. Но до Воронежа он не доехал, а сошел с поезда в Курске, рассчитывая таким образом сбить преследователей со следа. Пробыв к Курске несколько дней, он отправился в Архангельск, надеясь устроиться там на работу. Но это ему не удалось, и он поехал в Калугу, а оттуда — в Москву, в надежде разыскать верных друзей, у которых можно затаиться. В Москве Успенский через справочное бюро узнал адрес некой М. Матсон, в прошлом его хорошей знакомой, и направился к ней. Но она приютить его не могла, поскольку сама, как жена репрессированного, жила г. Москве у чужих людей. Успенский уезжает в Тулу.
Впрочем, Матсон не бросила Успенского в беде. Когда в скором времени она получила в Наркомздраве назначение на работу в Муром заведующей родильным домом, то дала ему знать, что некоторое время он может пожить у нее. Успенский немедленно приезжает в Муром и поселяется у Матсон, которая выдает его за мужа, литературного деятеля, работающего на дому. У Матсон Успенский прожил до марта 1939 года, когда ее перевели на работу в Москву. Но за время работы в городской больно не она успела сделать для него фиктивную справку на подлинных бланках о том, что Шмашкович И.Л., заместитель директора школы по хозяйственной части, с 18 января по 19 марта 1939 года находился на лечении в Муромской больнице. С этой справкой Успенский отправляется на восток страны, надеясь обосноваться там. Побывав в Казани, Арзамасе и Свердловске, он едет в Челябинск в надежде устроиться на Миасских золотых приисках.
Тем временем в Москве на очередном допросе жены Успенского выяснилось, что она видела у него паспорт на имя Шмашковича. Немедленно все органы НКВД были оповещены, что объявленный в розыск Успенский может пользоваться документами на это имя. В результате розыскная группа Свердловского УНКВД 14 апреля 1939 года обнаружила в камере хранения на станции Миасс квитанцию на имя Шмашковича И.Л. Камера хранения немедленно была взята под усиленное наблюдение, и 16 апреля при попытке получить свои вещи Успенский был арестован.