22 января того же года Иванов был срочно отозван из Лондона на родину, где успешно продолжил службу в ГРУ. Руководство даже поощрило его, направив на учебу в Академию Генштаба ВС СССР, которую, как уже говорилось выше, он окончил с отличием.
После возвращения в СССР его жена Майя подала на развод, и брак распался. С тех пор Евгений Михайлович больше не женился. Несмотря на семейный разрыв, он всегда тепло отзывался о жене:
— С Майей Горкиной меня связывали крепкие искренние чувства. Она была очень славная, очень скромная женщина. Умница. Прекрасно знала языки. Выучила в странах и английский, и норвежский. Норвежский язык даже потом преподавала в МГИМО…
Помогала мне в работе. Ее никогда не интересовали тряпки. Нет, одевалась она хорошо, однако культа из этого, как многие женщины, не делала… Но случилось то, что случилось…
Потом он служил на различных руководящих должностях в подразделениях по обобщению информационных материалов, добываемых управлениями стратегической агентурной разведки.
В 1981 году капитан 1-го ранга Е.М. Иванов ушел в отставку. Покидая службу в ГРУ, он, помню, с заметной грустинкой в глазах заметил: «Тяжело покидать эту вахту, к которой прикипел…»
А еще в ходе общения с ним автор несколько раз интересовался, не готов ли он написать что-либо о своей интересной лондонской командировке, зная о том, что в школьные годы Иванов баловался стихосложением.
— Напишу не только о ней — мне судьба подарила интересную жизнь. Напишу, Анатолий, если будет вдохновение, время и здоровье, — отшучивался он.
Другой раз в разговоре, касаясь этой темы, он заметил:
— Написать нетрудно о том, что с тобою было, но кто опубликует разведчика?
Он был прав — время и тогдашняя власть не позволила бы это сделать, но он очень хотел повести читателя по своим жизненным стежкам.
Думается, Евгений Михайлович уже тогда во время службы готовил наброски своих забавно-драматических мемуаров, которые были изданы только через 15 лет после его кончины Г.Е. Соколовым под названием «Голый шпион. Русская версия. Воспоминания агента ГРУ со 148 рассказами». Правда, по праву у этой книги два автора — Е.М. Иванов и Г.Е. Соколов. По-видимому, материалы дал разведчик, а обобщил их писатель Геннадий Евгеньевич Соколов, посвятив повествование светлой памяти Евгения Михайловича Иванова (1926–1994).
Небольшой по объему сборник коротких рассказов капитана 1-го ранга Евгения Михайловича Иванова, — писал Соколов, — главного фигуранта так называемого скандала века, был написан еще в советские времена. В СССР такую книгу издать было невозможно. Откровения бывшего разведчика в печати, даже если в них не содержалось ничего секретного, были недопустимы без особого разрешения. А разрешения никто не давал. Поэтому книга изначально писалась на английском языке, и ее авторы на свой страх и риск готовились опубликовать ее в Англии.