Так было положено начало восемнадцати годам его шпионажа в пользу Соединенных Штатов, что уже было само по себе беспрецедентным случаем. В ЦРУ Поляков считался самым продуктивным советским шпионом. Он передал Управлению более 100 засекреченных выпусков журнала «Военная мысль», в которых излагались идеи и планы советского командования. Он добыл тысячи страниц документов, в которых описывалось оружие русских, включая техническую информацию о противотанковых ракетах. Годы спустя, когда в 1991 году разразился кризис в Персидском заливе, выяснилось, что эти ракеты имеются и у Ирака. Благодаря информации, полученной от Полякова, Вооруженные силы США смогли с ними справиться.
Во время войны во Вьетнаме он предоставил США важную информацию о численности, структуре и возможностях северо-вьетнамских войск. В начале 70-х он сообщил, что Китай находится на грани прекращения тесного сотрудничества с советской империей. Эта информация помогла президенту Ричарду Никсону и Генри Киссинджеру, в то время помощнику по вопросам национальной безопасности, «прорубить окно» в Китай в 1972 году. За годы сотрудничества Поляков помог Управлению «вывести на чистую воду» по меньшей мере одного британского и шесть американских офицеров — шпионов КГБ. Несмотря на то что британское дело было закрыто в начале 60-х, в ЦРУ и двадцать лет спустя не смолкали разговоры о том, как красиво оно тогда было проведено.
Поляков передай ЦРУ снимки, произведенные им с фотографий, которые британский шпион КГБ, в свою очередь, сделал с секретных документов, описывающих системы управляемых ракет США. Изучив снимки Полякова, в ЦРУ проследили путь секретных документов и выяснили, на каком этапе они попали в руки шпиона КГБ. ЦРУ вышло на отдел управляемых ракет британского Министерства авиации. Там и работал нужный им человек — Фрэнк Боссард. Его арестовали и приговорили к 21 году тюремного заключения.
А в другой раз одно из первых донесений Полякова, направленных в 60-е годы в ФБР, привело к раскрытию и высылке нескольких советских «нелегалов»-шпионов, приехавших в США в качестве иммигрантов и проникших на работу в госучреждения.
Поляков отпраздновал свое 65-летие так, будто у него не было повода о чем-либо беспокоиться. На следующее утро он надел свой парадный генеральский мундир и аккуратно прикрепил к нему награды, полученные за долгий срок службы. На улице его ждала машина.
Сразу же по прибытии в штаб ГРУ его арестовали и предъявили обвинение в шпионаже. На лице Полякова не дрогнул ни один мускул. Он объявил, что будет разговаривать только с председателем КГБ Чебриковым. Полякова отвезли на Лубянку, где он более часа с глазу на глаз беседовал с Чебриковым. Во время этой встречи они обсудили условия ареста. Поляков согласился подписать полное признание и в течение нескольких месяцев отвечать на вопросы КГБ и ГРУ. В свою очередь Чебриков дал слово, что больше в семье генерала арестов не будет и что его жене позволят сохранить построенную Поляковым дачу. Все остальное их имущество подлежало конфискации.