Янель вновь стал слушателем Военной академии, обучение в которой завершил в 1924 году. После окончания академии он около года работал в советском полпредстве в Вене. Янель, проверенный неоднократно на зарубежной разведывательной работе, несомненно, был достойным кандидатом на должность советского военного атташе в Японии.
Пока кандидатура Янеля утверждалась в соответствующих советских инстанциях, из Токио в Народный комиссариат иностранных дел пришла еще одна депеша от полпреда Коппа. Он сообщал: «…японское морское ведомство просит ускорить назначение советского морского атташе. Сообщите имя и чин вашего кандидата и возможные сроки прибытия в Токио. Повторяю аналогичный вопрос относительно Янеля».
Достойного кандидата на должность военно-морского атташе СССР для Японии подобрать сразу не удалось. Поэтому 4 июня 1925 года состоялся приказ, в котором говорилось: «…окончивший Военную академию РККА в 1924 году Карл Янель назначается военным и военно-морским атташе при полпредстве Правительства СССР в Японии».
По линии Разведывательного управления Янель был назначен резидентом советской военной разведки в Токио. В далекую Страну восходящего солнца Янель направился вместе с женой, которую звали Зельма Яновна. Она была молода, красива, своенравна и чрезвычайно рада назначению Карла на высокую военно-дипломатическую должность в Японии. Тяжелая фронтовая жизнь, в которой она самоотверженно помогала мужу, завершилась. Будущее было новым и неожиданным.
На плечи Карла Янеля легла огромная нагрузка — создать «хозяйство» аппарата военного атташе, подобрать людей, сколотить коллектив, установить деловые контакты с японскими властями, наладить рабочие отношения с представителями японского генерального штаба, установить отношения с военными дипломатами иностранных государств, аккредитованными в японской столице. И самое главное — создать условия для решения задач, определенных начальником военной разведки Яном Берзиным. Опыт работы с иностранцами у Янеля был, но этот опыт помогал ему в работе среди представителей европейских государств. Как вести себя с японцами, Янель не знал. Поэтому, находясь в Москве, он тщательно изучал книги по истории Японии, Токио и другие города этой восточной страны, ее культуру, традиции и пытался понять, чем японцы отличаются от европейцев и можно ли с ними иметь дело, добиваясь улучшения советско-японских отношений.
В Токио действовала резидентура советской военной разведки. Руководил ее деятельностью резидент «Краб». В сентябре 1925 года «Краб» привлек к сотрудничеству крупного местного коммерсанта, который стал передавать секретные сведения военно-технического характера. «Крабу» также удалось привлечь к сотрудничеству одного японца — важного специалиста в области военного кораблестроения. От этого источника «Краб» получил чертежи новых японских военных кораблей, сведения об их боевых возможностях, описания корабельных артиллерийских систем и многое другое.