Аналогичную с абвером диверсионную работу выполнял разведывательный орган «Цеппелин» под руководством Отто Скорцени. Во многих случаях абвер и «Цеппелин» проводили совместные мероприятия.
В 1942 г. около г. Бологое Тверской области диверсанты Отто Скорцени пустили под откос несколько советских поездов, перевозивших войска. Сотрудники немецкой разведки в 1942 г. взорвали мост возле Минеральных Вод, заняли мост рядом с Пятигорском и ждали, пока не подойдут немецкие части.
В общей сложности в 1942 г. на территорию Советского Союза были заброшены примерно 20 000 агентов. Но надежды, связанные с тотальным шпионажем, не оправдались. С октября 1942 по сентябрь 1943 г. были подготовлены и засланы 150 разведывательных и диверсионных команд. Однако вернулись из них лишь 2, к тому же они не сообщили ничего ценного. Остальных поймали смершевцы или они сами сдались. Серьезными неудачами абвера признают советские операции «Монастырь» и «Березино». Советские разведчики по всем параметрам переиграли немцев. Конечно, этому способствовало то, что 1 из участников «Кембриджской пятерки» Джон Кернкросс имел непосредственный доступ к материалам расшифровки англичанами немецких сообщений.
Были у абвера и успешные операции. В частности, операция «Салям», в ходе которой высаживался десант агентов-радистов в тыл британских войск в Северной Африке, и операция «Маргарете-1» как часть кампании по захвату Венгрии. Абверовцы, диверсанты Скорцени захватили стратегические объекты в Будапеште и задержали почти все руководство страны, чтобы она не вышла из войны.
Но дни Канариса на посту руководителя абвера были уже сочтены. Все-таки он не был убежденным нацистом, контактировал с англичанами, иногда принимал на работу антифашистов и евреев. Причем подобные протестные настроения были распространены среди многих сотрудников разведки, особенно в центральном аппарате. Не утихало противостояние с РСХА — Главным имперским управлением безопасности (бывшим СД).
18 февраля 1944 г. Гитлер своей директивой сформировал единую разведывательную систему, во главе которой поставил Г. Гиммлера. Соответственно Канарису ничего не оставалось, как отойти в сторону. Его понизили до руководителя Управления торговой и экономической войны. Абвер распустили, а его отделы вошли в разные ведомства.
Когда очередное покушение на фюрера, совершенное 20 июля 1944 г., провалилось, многих бывших сотрудников абвера арестовали. После того как начальник политической разведки службы безопасности В. Шелленберг лично задержал Канариса, его долго пытали и 8 апреля 1945 г. повесили.