Но вот настоящим пятном на репутации семейства оказался дед, в скромном деревенском доме которого Юрий провел свои первые годы. Когда началась коллективизация, на старика несправедливо навесили ярлык кулака, имущество конфисковали, а сам он погиб от голода. Отец Юрия, опасаясь обвинений в контрреволюции, не пришел на помощь. Но и эта чрезмерная осторожность не спасла его от неприятностей. Через десяток лет, в пик сталинских политических чисток, отец подвергся преследованиям за свое "подозрительное происхождение" и с трудом отстоял свой партбилет, дававший возможность существования выше примитивного уровня.
Юрий был достаточно развитым и целеустремленным. Он был пионером, комсомольцем, окончил среднюю школу, поступил в Московский геодезический институт. Как и у милионов других людей по всему миру, война изменила ход его жизни.
Он был призван в Московскую Пролетарскую дивизию, принимал участие в захвате прибалтийских государств. В сентябре 1940 года его направили в военную разведку, и он начал учить японский язык в Институте восточных языков. Хотя ему не суждено было закончить четырехлетний курс, но он оказался продуктом первого набора в высшей степени секретную "101-ю школу" советской разведки. Вместе с ним, по его оценкам, были приняты 50-60 кусантов. И 12-15 из них учили японский, остальные - китайский, хинди, пушту и прочие. Никому из группы не давали самому выбирать направление, языки.
Германское вторжение в июне 1941 года нарушило академические занятия, Юрия направили в школу подготовки кадров для партизанского движения. Потом он оказался во Внешней Монголии и занимался изготовлением листовок и другого пропагандистского материала против японцев. Это был его оперативный дебют против Японии, которую он впервые увидел только в 1946 году, когда прибыл в Токио с советской миссией из 400 человек во главе с генералом Деревянко, который годом раньше представлял Сталина на официальной церемонии капитуляции Японии. А Растворов, которому исполнилось двадцать четыре, уже с 1943 года состоял в разведке МГБ, был кандидатом в члены компартии.
Его первый срок пребывания в Токио длился лишь год, но этого вполне хватило, чтобы избавиться от прежних впечатлений, сплошь не в пользу Советского Союза. Он увидел, насколько неотесанными кажутся его начальники, и прежде всего дубоголовый Деревянко, в западной компании. Он видел, как все до одного в миссии стараются запастись японской и американской одеждой и техникой, чтобы увести это в блеклую Москву с её дефицитами, низкосортными товарами и вечными очередями. Заметили, что Яков Малик (будущий заммининдел - примеч. перев.), уезжая в 1946 году с поста генерального политического советника в Токио, увозил с собой не менее 65 чемоданов, до отказа набитых трофеями из загнивающего капиталистического мира.