Ярдли боролся до последнего. Он пожаловался на невыполненное обещание дать ему возможность посетить Вашингтон, чтобы урегулировать там имеющиеся претензии к себе. Ярдли узнал, что Стречи отплывает из Англии в США 12 декабря 1941 года и попросил отсрочку исполнения приказа о своем увольнении до прибытия Стречи в Канаду. Ему никто не ответил. Тогда Ярдли предпринял последнюю попытку переломить ситуацию в свою пользу. Он написал семистраничный меморандум, в котором заявил, что является непревзойденным экспертом в области чтения фронтовой шифрпереписки японских вооруженных сил. Ярдли выразил готовность поделится имеющимися у него знаниями в этой области, если его увольнение будет отсрочено на два месяца. Не сработало.
Канадцы, понимая, что поступают с Ярдли нечестно, попытались сгладить неловкость положения. Ему предложили контракт на два с половиной месяца с сохранением денежного содержания, положенного ему на должности начальника Исследовательского отдела. По этому контракту он должен был исполнять фиктивные «специальные поручения» правительства Канады, находясь в Вашингтоне. Затраты на дорогу домой были полностью компенсированы за правительственный счет. Ярдли пообещали обеспечить беспрепятственное прохождение канадского таможенного контроля. Его снабдили несколькими благодарственными письмами от имени различных правительственных ведомств Канады за проделанную работу.
16 января 1941 года Ярдли попрощался с Макензи, который был расстроен выбором преемника Ярдли на посту начальника Исследовательского отдела: «Возможно, мое мнение является предвзятым, но я никогда не выбрал бы такого пожилого человека для того, чтобы возглавить организацию подобного рода». И добавил: «Время покажет, сумеем ли мы оправиться от этого удара». Канада сумела, а Ярдли нет.
Находясь сначала в Китае, а потом в Канаде, Ярдли исчез из поля зрения широкой американской общественности. Но она его отнюдь не забыла. Государственный департамент и военная разведка получали по два-три письма в неделю, которые имели отношение к Ярдли. В них часто содержался совет снова принять его на государственную службу в качестве дешифровальщика. В феврале 1941 года осведомитель проинформировал ФБР, что американская пресса проявляет интерес к судьбе Ярдли. Среди репортеров ходили слухи, что его снова приняли на секретную работу в военное министерство США. Газетчики недоумевали, «как это могло случиться после предательства, которое совершил Ярдли». Директор ФБР Эдгар Гувер передал эту информацию военной разведке.