С 1938 по 1940 год произошла фактически смена поколений сотрудников государственной безопасности. На место репрессированных чекистов пришло молодое поколение комсомольцев, беззаветно преданных идеалам коммунистической партии, но не имеющих практического опыта. Из их числа 60% были молодые люди от 25 до 35 лет, большая часть с высшим образованием, по национальности в основном русские. 22 июня 1941 года именно им пришлось столкнуться на незримом фронте с безжалостным и опытным противником.
По состоянию на 22 июня 1941 года органы военной контрразведки были представлены 3-м Управлением НКО СССР, 3-м Управлением НКВМФ СССР, тремя отделами НКВД СССР, которые оперативно обеспечивали пограничные и внутренние войска.
В связи с тяжелым положением Красной Армии в первые месяцы Отечественной войны, ввиду огромных потерь среди личного состава и военной техники, а также прямого предательства и дезертирства, руководителями страны было принято решения о концентрации особых полномочий в лице единого органа государственной безопасности. Вновь НКГБ был объединен с НКВД, и с 17 июля 1941 года военная контрразведка была переподчинена руководителю государственной безопасности в виде Управления Особых отделов, которое возглавил молодой 34-летний Комиссар 2-го ранга В. С. Абакумов. Особые отделы были наделены чрезвычайными полномочиями, они имели право на принятие внесудебных решений, например, расстрел в отношении предателей и паникеров без передачи материалов в военные трибуналы. Особые полномочия военной контрразведки продлились до конца 1942 года, то есть до стабилизации положения на фронтах Отечественной войны.
В апреле 1943 года, по предложению И. В. Сталина, был образован новый орган «Смерш». 19 апреля 1943 г. было подписано секретное постановление Совнаркома, согласно которому военная контрразведка передавалась в наркоматы обороны и Военно-Морского Флота, при которых учреждались управления контрразведки «Смерш». В связи с этим Управление Особых отделов НКВД было переподчинено НКО. Начальником вновь образованного органа был назначен В. С. Абакумов, проявивший себя как опытный чекист и организатор военной контрразведки. Под его руководством органы «Смерш» фронтов из сугубо контрразведывательных органов превратились в мощную разведывательно-контрразведывательную службу.
Начальником управления «Смерш» НК ВМФ был назначен П. А. Гладков. Сотрудники «Смерш» обеспечивали такие масштабные операции, как битва на Курской дуге, форсирование Днепра, Берлинская операция. Они довели до высокого профессионального уровня многие из направлений деятельности военной контрразведки, а, в частности, зафронтовую работу, радиоигры, фильтрационную работу, усовершенствовали работу с агентурным аппаратом.