В июне 1920 года Люшков перешел на службу в Особый отдел ВЧК по 57-й дивизии, но она у него не задалась. К 1924 году он сменил одиннадцать рядовых должностей, помотался по уездным городкам Юго-Западной Украины, но так и не добился высоких чинов, пока судьба не свела его с Израилем Леплевским. Сын официанта из харьковского ресторана, тот, как и Люшков, поднялся на гребне революционной волны. Но волна Леплевского катилась по более высоким кабинетам новой – советской – власти, и потому на момент встречи с Люшковым он уже занимал значимую должность в ГПУ Украины, а на его груди сверкал орден Красного Знамени.
Встретившись, они поняли друг друга с первого взгляда: тому и другому требовались «резонансные дела», которые бы прогремели «наверху». Препятствие на пути к ним – давний недоброжелатель Люшкова – Лютый, не скрывавший своей неприязни к евреям и державший его в черном теле, убыл к новому месту службы. Люшков, получив свободу рук, развил бурную деятельность по выявлению и изобличению контрреволюционеров. Из Проскуровского окружного отделения ГПУ (с 1 августа 1925 года – отдела), который он возглавил, валом повалили перспективные дела. Он знал, как «развернуть показания» арестованных, чтобы «дело получило резонанс». На совещаниях в Подольском губернском отделе ГПУ Леплевский все чаще приводил в пример «результативную и творческую работу товарища Люшкова» и отмечал его как «способного агентуриста и умелого разработчика контрреволюционного элемента».
В Харькове (до 1939 года столице советской Украины), в центральном аппарате ГПУ заметили перспективных работников. В октябре 1925 года Леплевского первым выдвинули на более ответственный участок, назначив начальником губернского ГПУ в Одессу. Он, в свою очередь, не забыл «способного агентуриста-разработчика» Люшкова и рекомендовал в центральный аппарат: свои люди «наверху» всегда нужны. В должности начальника информационно-осведомительского отдела (ИНФО) ГПУ Украины Люшков пробыл пять лет. Несмотря на то, что ему удалось раскрыть «террористическую группу», готовившую покушение на председателя Всеукраинского Центрального исполнительного комитета (ВУЦИК) Григория Петровского, эта заслуга не была оценена – Люшков в круг соратников председателя украинской ГПУ не входил.
Все изменилось с приходом в Харьков старого покровителя – Леплевского. Возглавив Секретно-оперативное управление (СОУ) ГПУ Украины, он принялся подтягивать к себе надежные и проверенные в прошлой совместной работе кадры. Люшков был в числе их. 3 мая 1930 года его назначили начальником секретного отдела СОУ. Под руководством Леплевского он принимал самое активное участие в оперативной разработке подпольных «контрреволюционных, повстанческих организаций»: «Украинского национального центра», «Военно-офицерской организации» (дело «Весна») и других. Их работа не осталась незамеченной.