Но в 1959 году возникли разногласия между Орловым и Николаем Козловым, бывшим советским гражданином, также работавшим на. ЦРУ. Однажды, вернувшись из командировки в Вену, Орлов обнаружил, что его сейф вскрывали. Козлов знал кодовую комбинацию, и Орлов, уверенный, что именно он открывал сейф, написал рапорт на имя своего начальника Соголова. На его беду, Соголов оказался близким другом Козлова, и это губительным образом сказалось на карьере Орлова в ЦРУ.
В январе 1961 года Орловы прибыли в Нью-Йорк, где им была обещана новая работа. Но в Нью-Йорке Орлову заявили, что работы для него нет, и не продлили с ним контракт. (Все эти годы, с 1946 по 1961 год, Орлов работал на ЦРУ по контракту и не был штатным сотрудником управления.) Надо было как-то жить, и Орлов устроился водителем грузовика в издательство «Вашингтон пост». К 1964 году семья Орловых накопила достаточно денег и смогла открыть в Александрии магазин картинных рам.
Здесь необходимо сделать небольшое отступление. Дело в том, что в декабре 1961 года из Хельсинки бежал в США заместитель резидента КГБ А.М. Голицын. (Подробно о нем см. главу 5.) Он внушил ЦРУ идею тотального проникновения КГБ во все поры западного общества, в том числе и в разведку. Эта идея нашла отклик у шефа контрразведки ЦРУ Джеймса Энглтона, и в ЦРУ началась масштабная охота на «кротов» КГБ, так как по сведениям Голицына у КГБ был «крот» в ЦРУ. «Крот» этот имел псевдоним САША, был русского происхождения, его фамилия начиналась на «К», и он работал в Германии. Орлов походил по всем признакам на искомого «крота», и в 1964 году контрразведка ЦРУ начала его разработку. А в середине 1964 года дело Орлова было передано в ФБР.
В начале марта 1965 года в квартире Орловых был произведен обыск, а сам он подвергся проверке на детекторе лжи. Однако никаких улик, а тем более доказательств, ФБР не обнаружило. Несмотря на это, за домом Орлова было установлено постоянное наблюдение, а его самого регулярно вызывали на допросы в ФБР. В апреле Орлов не выдержал прессинга и тайно обратился в посольство СССР в Вашингтоне с просьбой о политическом убежище, которое было бы ему гарантировано вместе с семьей. Но Элеонора Орлова не пожелала ехать в СССР, и побег не состоялся. ФБР стало известно о посещении Орловым советского посольства, но, так как он объяснил этот визит необходимостью узнать адрес матери, никаких осложнений не последовало.
В марте 1966 года дело Орлова получило неожиданное продолжение. Сотрудник КГБ И.П. Кочнов по личной инициативе пошел на контакт с ЦРУ. Среди всего прочего он заявил, что И. Орлов является «кротом» КГБ. Правда, все обстоятельства сотрудничества Кочнова с ЦРУ, а самое главное, исчезновение в Вене Н.Ф. Артамонова (об этом эпизоде речь пойдет далее), свидетельствуют о том, что Кочнов был подставой КГБ, а показания против Орлова — попыткой направить ФБР по ложному следу. Во всяком случае, на судьбе Орлова это заявление никак не отразилось. До самой смерти Орлова ЦРУ и ФБР относились к нему подозрительно, но так и не нашли ни малейших доказательств его виновности в чем бы то ни было.