Большую работу военные контрразведчики ГПУ (с 6.02.1922) и ОГПУ (с 15.11.1923) провели на Дальнем Востоке во время его оккупации Японией и другими странами Антанты, а также против агентуры диктаторского режима Чан Кайши в Китае и белогвардейских банд разных «батек и атаманов» — Семенова, Гамова, Калмыкова, Унгерна, Птицына и других. Успешной деятельности военных контрразведчиков способствовала действенная помощь командиров и красноармейцев РККА, народных мстителей из многочисленных партизанских отрядов и конечно, местного населения, униженного и оскорбленного иностранными агрессорами и помогающими белым.
В 1934 году Особый отдел ОГПУ вошел в состав Главного управления государственной безопасности (ГУГБ) НКВД СССР в качестве 5-го отдела (особого) отдела, а в 1938 году, после упразднения ГУГБ, на базе 5-го отдела было создано 2-е Управление особых отделов НКВД СССР. Однако в сентябре 1938 года по инициативе Лаврентия Берии Главное управление государственной безопасности было восстановлено виде 4-го Особого отдела ГУГБ, отвечающего за деятельность военной контрразведки в центре и на местах в вооруженных силах Наркомата обороны СССР
Настоящий патриотизм не тот, который суетится и чванится в торжественные минуты, а тот, который ежедневно и неутомимо заботится об общем благе и не бахвалится этим.
Артуро Граф
В это же время, когда произошло назначение на должность руководителя Разведывательного управления Генштаба боевого летчика И.И. Проскурова, в феврале 1939 года начальником Особого отдела НКВД СССР Орловского военного округа (ОВО) был назначен 28-летний слушатель выпускного 4-го курса Военно-инженерной академии РККА им. В.В. Куйбышева Анатолий Николаевич Михеев (1911–1941). В августе того же года он становится начальником Особого отдела НКВД СССР Киевского особого военного округа (КОВО), а с 23 августа 1940 года — руководителем Особого отдела в Центральном аппарате Главного управления государственной безопасности НКВД СССР с присвоением звания майора госбезопасности. Он принял дела у бывшего начальника Особого отдела ГУГБ НКВД СССР в период 1938–1941 годов Виктора Михайловича Бочкова (1900–1981), ставшего прокурором СССР.
После реорганизации системы органов военной контрразведки, когда бывшая армейская контрразведка 12 февраля 1941 года была передана из состава НКВД в военное ведомство, его назначают начальником 3-го Управления Наркомата обороны СССР в звании дивизионного комиссара (старшего майора госбезопасности. — Авт.)
Находясь в Москве на высокой должности в системе военной контрразведки, в разное время подчиняющейся то Наркомату обороны СССР, то Главному управлению госбезопасности НКВД СССР, А.Н. Михеев с началом войны по поручению Сталина и Мехлиса проводил расследование причин неудач Западного фронта.