Репрессии 1937 года, охватившие всю страну, обрушились и на сотрудников НКВД. «Только за 1937 год было казнено более трех тысяч оперативников НКВД… Среди исчезнувших в этой кровавой мясорубке были Молчанов, заместители Ягоды Агранов и Прокофьев, а также все начальники управлений НКВД в Москве и провинции. Только одному человеку из числа руководителей НКВД удалось избежать такого конца. Благодаря дружеским отношениям с Ежовым Люшков продержался на своей должности до лета 1938 года. Увидев из своего далека, что Сталин как будто уже не оставил в живых никого из опасных свидетелей своих преступлений, Люшков использовал преимущества своей должности и тем же летом перешел к японцам». Страх Люшкова был вполне оправданным: незадолго до его побега были арестованы и расстреляны шестнадцать руководящих работников НКВД Дальневосточного края.
Десятого июля 1938 года Люшков отправился с инспекторской проверкой на участок 59-го пограничного отряда. Особенно тщательно проверялись пограничные дозоры. Проверяющие скрытно подбирались к пограничникам, и, если те их не обнаруживали, следовали разносы, сопровождаемые руганью и угрозами. В тогдашних условиях угрозы Люшкова воспринимались как вполне реальные. Тринадцатого июля около пяти часов утра все начиналось как обычно. Объявлены пункты проверки и место сбора. Когда все проверяющие разошлись по указанным пунктам, а шофер задремал, Люшков, сверившись с картой, двинулся на запад. Через некоторое время он услышал окрик, и навстречу ему выскочили солдаты пограничной охраны Маньчжоу-Го. Люшков поднял руки вверх. Через полчаса прибыл офицер со взводом солдат. Он обыскал Люшкова, отобрал два имевшихся при нем пистолета и в окружении солдат отконвоировал в расположение штаба японской пограничной части.
Перешедший границу Люшков был допрошен сотрудниками японской военной разведки. Вот выдержка из протокола допроса Люшкова, составленного 5-м отделом 2-го (разведывательного) управления штаба японской армии:
«Вопрос: Почему вы решили бежать и получить здесь политическое убежище?
Ответ: Я почувствовал, что мне грозит опасность.
В: Какая именно опасность вам грозила?
О: В конце мая я получил известие от близкого друга в НКВД, что Сталин приказал арестовать меня. Я узнал также, что Ежов откомандировал в Хабаровск, где находится Дальневосточное управление НКВД, Мехлиса и Фриновского.
В: Назовите вашего друга в НКВД.
О: Прошу не требовать от меня этого. Скажу только, что этот человек — один из тех, кто занимает в НКВД положение сразу вслед за Ежовым.