В конце 1923 г. Горского вернули в распоряжение госбезопасности и ненадолго послали работать в органы ОГПУ на транспорте. Он побывал начальником Киевского окружного транспортного отдела ГПУ, помощником начальника отделения и инспектором Дорожно-транспортного отдела ОГПУ. Уже в сентябре 1924 г. его назначают старшим уполномоченным Информационного отдела ГПУ Украины, но менее чем через год убирают из этого отдела, формировавшего своими сводками представление руководства о положении в стране, и снова переводят на транспорт: Горский работает начальником отделения Дорожно-транспортного отдела ОГПУ в Таганроге и Краснодаре, а с августа 1930 г. переводится на станцию Минеральные Воды.
В 1932 г. Горский перебирается в Москву на спокойную должность помощника начальника Отдела кадров полпредства ОГПУ по Московской области, но не задерживается там. Чекиста переводят в распоряжение Иностранного отдела ОГПУ и отправляют за границу. География его поездок широка — от Вены до Монголии. По возвращении начальство полагает, что несмотря на начальное образование, Горский вполне достоин стать начальником Курсов особого назначения, где проходят подготовку десятки будущих разведчиков. Это 38-й год, когда преподаватели и студенты то и дело исчезают без следа. Горский возвращён в аппарат и в звании капитана госбезопасности работает замначальника отделения Иностранного отдела НКВД СССР.
Его арестовали 16 октября 1938 года по показаниям крупного чекиста Б. Д. Бермана, схваченного незадолго перед тем. Из Бермана выбили сведения о том, что Яков Горский — участник антисоветской заговорщицкой организации в НКВД, завербованный бывшим начальником Иностранного отдела А. А. Слуцким. Позднее Берман отказался от своих показаний, но у следователей, допрашивавших Горского, оказалось достаточно компрометирующего материала на бывшего разведчика.
Горский обвинялся в том, что, работая по линии НКВД в Монголии, установил близкие отношения с торгпредом А. И. Биркенгофом (расстрелянном в 1936 г.), покупал у него опиум и спекулировал им. Ещё Горский якобы менял доллары на черной бирже и представил фиктивные документы на израсходование «денег специального назначения». (Горский, кстати, не был единственным разведчиком, которому предъявлялись подобные претензии. Так, в следственном деле Берии упоминались причины тайной ликвидации полпреда в Китае и одновременно резидента ИНО НКВД И. Т. Луганца-Орельского, убитого 8 июля 1939 г. в Грузии по приказу Сталина. Полпред-разведчик якобы контролировал оборот наркотиков, и его, отозвав в СССР, устранили негласно для того чтобы не спугнуть сообщников