Нам понадобилось шесть месяцев упорного труда, чтобы это выяснить, после чего мы занялись поиском кодовых индикаторов. Найдя предположительные варианты, мы смогли вычленить части сообщений, закодированные при помощи «Яп-Р1», «Яп-Р2» и т. д., а потом проанализировать их подобно тому, как мы анализировали прежние коды «Яп-А», «Яп-Б» и т. д…. И в конечном итоге нам удалось добиться успеха».
Произошло это в 1922 году. Достигнутый успех почти не принес практических результатов: подавляющее большинство японских дешифровок не представляли интереса, и лишь несколько вошли в разведывательные сводки, отправленные в Вашингтон.
В 1924 году сотрудница Шифровального бюро Эдна Хакенберг, ежедневно читавшая «Нью-Йорк тайме», заподозрила, что японцы готовили обзоры американской прессы на основе публикаций в этой газете и отсылали в Токио, кодируя их при помощи «Яп-Э». Благодаря своему открытию в сентябре 1924 года Хакенберг сумела взломать «ЯпЭ». Такая же участь вскоре постигла последующие модификации этого кода – «Яп-ЭА» и «Яп-ЭБ». За свои достижения Хакенберг получила от Ярдли существенную прибавку к зарплате.
Несмотря на эти успехи, спад в работе над взломом японских армейских шифров, который наметился еще в 1923 году, в следующем году продолжился. Его причинами стали сокращение финансирования Шифровального бюро, уход оттуда ведущих дешифровальщиков и уменьшение объемов перехвата, а также усовершенствования, внесенные в японцами в свои армейские шифры по предложению польского дешифровальщика Яна Ковалевского.
Японские военные «подружились» с Ковалевским в ходе советско-польской войны 1919–1921 годов. Они поделились с ним шифрами Красной армии, которые захватили в 1918 году в ходе своего вооруженного вторжения в Сибирь. Это позволило Ковалевскому вместе с десятком других польских дешифровальщиков читать перехваченные шифрованные радиограммы Красной армии во время боевых действий в 1920 году.
После окончания войны одна из многих любовниц Ковалевского из-за разрыва отношений с ним покончила жизнь самоубийством. Считая себя виновником ее смерти, Ковалевский попытался застрелиться. Попытка была неудачной, и он оказался частично парализован. Видя его плачевное физическое состояние, начальник решил подыскать для Ковалевского служебное задание, для выполнения которого не требовалось прилагать много усилий. В этот период Польша поддерживала дружественные отношения с Японией на почве обоюдной неприязни к России. Зная о повышенном интересе, который Япония проявляла к криптологии, начальник предложил японскому военному атташе Японии кандидатуру Ковалевского в качестве инструктора. В январе 1923 года Ковалевский приехал в Токио, где в течение нескольких месяцев обучал четырех японских офицеров связи дешифрованию, в особенности применительно к шифровкам Красной армии. Он также проконсультировал их по вопросам криптографической защиты. Это привело к повышению стойкости японских шифров и лишило дешифровальщиков Ярдли главной «зацепки», которой они пользовались при взломе.