Практически сразу после начала войны с СССР абвер потерял весомую долю своего значения. В июне 1941 г. командование вооруженными силами Германии, ревностно наблюдавшее за ростом влияния руководителя разведки, недовольное его вмешательством в военные вопросы и испытывавшее «головокружение» от успехов немецкой армии на Западе, «продавило» директиву, в соответствии с которой за абвером закреплялась агентурная работа исключительно в прифронтовой зоне. Таким образом ранее обширная деятельность абвера теперь свелась к стандартной тактической разведке под контролем военных. Впрочем, в сентябре 1941 г., когда голова у нацистов перестала кружиться, Гитлер отменил директиву.
Еще до непосредственных боевых действий в СССР немецкая разведка стала забрасывать на территорию противника многочисленные диверсионно-разведывательные группы и отдельных террористов. Перед ними ставилось множество задач. Они оборудовали склады оружия, места для парашютных десантов, производили взрывы, нарушали связь, размещали ориентиры для воздушных бомбардировок на военных, промышленных и транспортных объектах. Также они отравляли воду, привлекали к сотрудничеству кадры, которые подавали бы сигналы и указывали цели для самолетов, формировали антисоветские банды, совершали поджоги.
Начиная с мая 1941 г., диверсанты приступили к своей работе. Например, в Таурагском уезде Литовской ССР, расположенном вдоль границы с подконтрольной немцам территорией, огнем были уничтожены приблизительно 400 га леса, в Тракайском уезде — 200 га. Пожары, устроенные «засланцами», тушили всем миром: пограничники, военные, местные жители, которые к тому же очень помогли в поимке террористов. В период с 18 по 22 июня 1941 г. на минском направлении чекисты нейтрализовали 211 диверсионных групп и одиночек.
Недалеко от Варшавы появилась штаб-квартира специальной структуры под названием Вали- II, призванная усилить эффективность диверсионно-террористической деятельности. Под ее контролем находились диверсионные группы, которые закреплялись за воинскими подразделениями и на значимых направлениях фронта засылались в советский тыл для его разрушения.
Когда немцы проиграли Московскую битву, Гитлер раскритиковал качество разведданных об СССР, полученных абвером. Канарис попытался исправить положение с помощью «тотального шпионажа» — массовой заброски агентов. Для этого не хватало людей. Тогда в Германии и на оккупированных территориях организовали 60 специализированных учебных заведений для подготовки агентов. Их вербовали из лояльно настроенных местных жителей и военнопленных. Поскольку управленческий аппарат стал слишком громоздким и неуправляемым, в Риге, Минске, Каунасе, Таллине, Вильнюсе были учреждены региональные представительства немецкой разведки.