По окончании Гражданской войны Ярославский учился в Военной академии, после чего был направлен на работу в Разведупр РККА. В 1923 году его назначили нелегальным резидентом в Вену. Из Вены он координировал работу по балканским странам. Поворотным пунктом в его работе в ГРУ стал взрыв в Софийском кафедральном соборе, организованный членами болгарской коммунистической партии по указанию и при поддержке Коминтерна и ГРУ.
Целью взрыва, организованного 16 апреля 1925 года, было убийство главы болгарского правительства Александра Цанкова, пришедшего к власти в результате военного переворота 9 июня 1923 года, и членов его кабинета. После ликвидации правительства, по замыслу организаторов этого теракта, должны были начаться рабочие вооруженные выступления, а затем и пролетарская революция. Но вся эта безумная затея провалилась. Хотя бомба взорвалась во время службы и погибло около 150 человек, ни Цанков, ни его министры не пострадали. Все непосредственные участники покушения были казнены, а на коммунистов обрушился шквал репрессий.
Ярославский, прекрасно осведомленный об истинных причинах и руководителях взрыва, решил порвать с ГРУ и выехал в Германию. Вскоре после этого в ОГПУ поступило донесение о том, что, находясь в Германии, Ярославский имел контакты с представителями английской разведки. Последнее крайне обеспокоило Москву. Начальник ИНО ОГПУ М.А. Трилиссер отдал приказ о ликвидации Ярославского, и 6 августа 1925 года Ярославский был отравлен в одном из кафе города Майнца работниками военного аппарата германской Компартии братьями Голке. А 29 августа 1925 года Трилиссер отправил резиденту ИНО ОГПУ в Берлине следующую телеграмму, в которой предписывалось установить англичанина с которым контактировал Смирнов.
Позднее, после задержания на территории СССР английского разведчика С. Рейли, было установлено, что Ярославский установил контакт именно с ним. В Москве и Берлине было проведено тщательное расследование, но никаких дополнительных материалов о связях Ярославского с Рейли так и не было получено.
В том же 1925 году из-за сходных причин порвал с ГРУ нелегальный резидент в Прибалтике Игнатий Дзевалтовский. Его ожидала та же участь. В декабре 1925 года по приказу того же Трилиссера он также был отравлен.
В 1927 году произошел еще целый ряд провалов в деятельности советских спецслужб. В мае 1927 года англичанами был произведен и обыск в помещении Всесоюзного кооперативного общества «Аркос». «Аркос» был учрежден и зарегистрирован советской торговой организацией в 1920 году в Лондоне как частное акционерное общество с ограниченной ответственностью. В 1923 году советское правительство разрешило «Аркосу» ведение торговых операций на территории РСФСР. К началу 1927 года «Аркос» стал крупнейшим советским экспортно-импортным объединением в Англии.