Тем временем пошатнулись его позиции в миссии, и временный поверенный Георгий Павлычев обратился в Москву с просьбой отозвать Растворова. Но полковник Носенко, благоволивший Растворову, сообщил ему, что пришла телеграмма с нагоняем, но Растворов остается в Токио, а разбор произведут по его возвращении. У Растворова было впереди ещё несколько месяцев.
Два события усугубили внутренний кризис в душе Растворова. Первое это расстрел Берии, сообщение о чем пришло в Токио накануне Рождества (имеется в виду по новому стилю - примеч. перев.). Растворов был в невысоких чинах, чтобы чувствовать себя в опасности в связи с новыми чистками. Но он же работал в японском отделе в Москве под пристальным оком Берии, так что мало ли что... Второе и решающее событие - 10 января 1954 года около полуночи Растворова пригласили в руководство миссии и сказали ему, что Павлычев направил в Москву телеграмму с настойчивым требованием отозвать Растворова, а если его требование не будет выполнено, то он сам попросит о своем переводе. На сей раз трудно было ожидать милостей и от полковника Носенко, который в принципе должен был бы настоять на решении этого вопроса по своим каналам. Носенко увиливал от ответа, но потом сказал, что Растворов поедет домой через несколько дней с советскими конькобежцами, которые приехали в Токио на чемпионат мира. Такому эскорту не порадуешься: ведь в такой группе, как обычно, есть несколько сотрудников спецслужб. И они, видимо, позаботятся, чтобы довезти его до дома.
Начиная с этого момента опубликованный рассказ о его весьма мало походит на правду (и вряд ли это было продиктовано обстоятельствами того времени)). В истории, рассказанной для американской публики, ог говорит о том, что просто не смог улететь с конькобежцами, которые отбыли 23 января, по той причине, что в британском консульстве не успели оформить для него транзитную визу для Гонконга. А когда он пришел в миссию, полковник Носенко сказал ему, что он определенно должен вылетать на следующий день, в воскресенье 24 января. Крепкий сопровождающий из конькобежной делегации специально остался, чтобы сопровождать его. После этого, как гласит его рассказ, он связался со своей "близкой американской подругой" - миссис Браунинг (на самом деле её фамилия была Бёрнс), женщиной средних лет из Техаса, которая преподавала в местной американской школе имени Эрни Пайла. Они регулярно встречались в отеле "Олд Кайто" и давали друг другу уроки родного языка. О политике не говорили. А в это бурное воскресенье он сказал ей, во-первых, что хочет бежать на Запад и, во-вторых, что он офицер разведки. Она пообещала ему сделать для него всё возможное. Растворов потом говорил, что он вернулся в миссию, чтобы сжечь свои бумаги, а потом направился на условленный угол для встречи с "миссис Браунинг", назначенной на восемь вечера. К месту встречи подъехал автомобиль, в котором находилась преподавательница, и увез его. "Некоторое время спустя, - заканчивается повествование Растворова, - я уже летел к американскому западному побережью".