В конце 1946 года Растворова внезапно отзывают в Москву в ситуации, которая не добавляла у него симпатий к режиму. Партийная комиссия раскопала, что у его отца десять лет назад было приостановлено членство в партии, а деда раскулачили, но Растворов не отразил этих негативных моментов в своих анкетах и автобиографии. Пришлось вынести унизительные разбирательства, но в итоге его простили, а в 1947 году приняли в партию. Но он просидел ещё три года в японском отделе, прежде чем в 1950 году его вновь отправили в заграничную командировку, и снова в Токио. Его жена, Галина Андреевна Годова, балерина, предпочла остаться дома с пятилетней дочерью: карьера значила для неё больше, чем семейная жизнь, которая уже дала трещину.
Растворов потом объяснял, что неудавшийся брак способствовал его решению, которое созрело у него, когда он уезжал из Москвы: он уже тогда решил, что не вернется. Другим важным элементом явилась усиливающаяся соблазнительность западного образа жизни. Он уже попробовал его во время первого пребывания в американизированном Токио, а в Москве ощутил его по кинопленкам. Он часто сопровождал высоких чинов МГБ на киносеансы, которые начинались в 4 утра в специальном "конференц-зале". Там смотрели западные фильмы, которые офицеры советской разведки привозили из освобожденных стран. На сеансах присутствовал узкий круг привилегированных лиц, переводчики синхронно переводили текст. Как и все его коллеги, дома он говорил, что "задержится на работе".
Пропагадистские приемы, применявшиеся режимом в отношениях с капиталистическим миром, уже разрушили в душе Растворова всякие иллюзии хотя особым идеалистом он никогда не был. Впервые он познакомился с методами коммунистической дезинформации в 1942 году, когда Уэнделл Уилки приезжал в Советский Союз в ходе своей информационной поездки по миру. Важно было, чтобы посланник президента Рузвельта уехал домой с восторженными впечатлениями о новом американском союзнике, и вот тогда Растворов участвовал в этом мероприятии по пусканию пыли в глаза американскому гостю. Он вместе с другими был снят с подготовки в военной школе в Ставрополе, всем дали крестьянскую одежду и отправили в совхоз неподалеку, который был выбран для посещения Уилки. Там они работали несколько недель: ремонтировали сараи, склады, скотные дворы, приводили в порядок поля и дороги. Последним штрихом был завоз в местный магазин икры, шампанского и других яств, чтобы показать, будто это нормальный ассортимент совхозного магазина. Два года спустя Растворов слышал, но сам свидетелем не был, о ещё более выдающемся дезинформационном мероприятии, устроенном для Генри Уоллеса, вице-президента США, когда тот совершал поездку по северо-восточной Сибири. Как по мановению волшебной палочки все рабские лагеря и ограды из колючей проволоки были сметены по пути его следования. Служба режиму, прибегающему к таким фокусам, угнетала.