Надо сказать, что в Америке Семенов-Димик жил вполне безбедно. По его словам, он объездил тридцать пять из пятидесяти штатов, за пять лет сменил шесть машин. Узнав из разговора по телефону с женой, что та в Москве вышла замуж за другого человека, сам женился на пуэрториканке. Но ничего путного из этого брака не вышло. «Жили вместе всего два месяца, разводились — четыре», — вспоминал он позже об этом. А после очередного разговора с бывшей женой, когда она попросила его больше ей не звонить, он затосковал по родине. Летом 1981 года Семенов перевелся в нью-йоркское отделение фирмы и начал всерьез подумывать о возможном возвращении в СССР. И в декабре 1981 года, несмотря на свой новый роман (с американкой Филлис) обратился в советское посольство в Вашингтоне с просьбой помочь ему возвратиться в Москву. Отклонив настойчивые советы сотрудников госдепартамента США остаться, Семенов получил советский служебный паспорт на прежнюю фамилию и 17 декабря 1981 года вылетел в СССР.
По прибытии в аэропорт Шереметьево Семенов был арестован сотрудниками КГБ и доставлен в следственный изолятор Лефортово, где ему было предъявлено обвинение по ст. 64 УК РСФСР — измена Родине. В мае 1982 года следствие передало дело Семенова в Военный трибунал Московского военного округа. Трибунал, учитывая добровольную явку с повинной, приговорил его к десяти годам лишения свободы: первые три года в тюрьме, остальные семь — в лагере строгого режима. Находясь в тюрьме, а затем — в известном лагере «Пермь-35», Семенов написал около десятка заявлений в адрес Президиума Верховного Совета СССР с просьбой изменить ему меру наказания, но все заявления остались без ответа. И лишь в 1987 году, когда он написал лично М. Горбачеву, Семенов был помилован указом Верховного Совета СССР от 3 апреля 1987 года со снятием судимости и 14 апреля вышел на свободу.
После августа 1991 года Семенов вместе с Филлис, которая приезжала в СССР дважды (в мае 1990 года и сентябре 1991 года), пришел в ОВИР за загранпаспортом, а затем и в американское посольство за визой для въезда в США, которую он получил в ноябре 1991 года.
В Вашингтоне Семенов попытался восстановить прежние документы, обратившись в ЦРУ. Но там ему сказали, что ничем не могут помочь, так как стерли информацию в компьютере, опасаясь использования документов нелегалами КГБ. Но, как заявил Семенов в интервью корреспонденту «Комсомольской правды», он не унывает и возлагает большие надежды на издание своей книги о службе в КГБ.
Гораздо большими бедами обернулось для страны предательство Владимира Пигузова. сотрудника КГБ, с 1974 года работавшего в резидентуре КГБ в Индонезии. Завербованный там в 1976 году сотрудниками ЦРУ при помощи «медовой ловушки», именно он, по утверждению Калугина, выдал американцам Дэвида Генри Барнетта, предложившего свои услуги КГБ.