До образования «Смерш» особые отделы входили в состав НКВД и их сотрудники соответственно являлись сотрудниками органов внутренних дел, а не армейскими офицерами. На этой почве нередко возникали трудности и даже недоразумения в вопросах, например, материального обеспечения особых отделов или их взаимодействия с командованием. С образованием органов «Смерш» их сотрудники были выведены из состава НКВД и организационно вошли непосредственно в состав наркомата обороны.
Офицеры «Смерш» стали армейскими офицерами с армейскими же званиями, а не со спецзваниями, как было до этого. На них полностью распространялись все приказы НКО.
Подчиненность же офицеров «Смерш» оставалась ведомственной. Это означало, что, скажем, старший оперуполномоченный полка подчинялся по оперативной работе не командиру полка, а начальнику «Смерш» дивизии, последний, в свою очередь, начальнику «Смерш» корпуса и т. д. Ну а начальник ГУКР «Смерш» В.С. Абакумов, как было указано выше, подчинялся непосредственно И.В. Сталину и выполнял его указания. Несмотря на это, органы «Смерш» не были изолированы от командования, а работали в полном взаимодействии с ним, предоставляя ему необходимую информацию и оказывая друг другу всяческую помощь.
Органы «Смерш» пользовались высочайшим авторитетом и уважением в войсках. Тысячи офицеров «Смерш» награждены боевыми орденами и медалями. Награждение производило командование воинских частей по своей инициативе от имени Президиума Верховного Совета СССР.
Следует отметить, что органы военной контрразведки не впервые организационно входили в состав Вооруженных сил СССР. Еще в 1941 году было принято решение о переименовании Особого отдела Главного управления госбезопасности НКВД в третье управление и о вхождении его в состав наркомата обороны. Положение о третьем управлении утвердил своим приказом нарком обороны С.К. Тимошенко.
В этом приказе излагались задачи новых подразделений, определялись формы и методы чекистской работы — все то, что раньше было особо засекречено. Приказ предполагалось объявить не только оперсоставу, но и всем офицерам Вооруженных сил вплоть до командира взвода. Теперь все офицеры узнали святая святых — о деятельности третьих отделов. Для большинства из них это было страшным откровением.
Кроме того, третьи отделы, подчиняясь по своей основной ведомственной линии, одновременно находились как бы и в подчинении общевойскового командования. Такая не совсем понятная двойственность в подчинении вызывала большие осложнения в работе третьих отделов, нередко приводила к недоразумениям. Все это не могло не сказаться отрицательно на работе третьих отделов, и непосредственно перед началом войны они в целом ослабили свою работу.