В соответствии с постановлением ЦИК СССР от 10 июля 1934 г. был создан Народный комиссариат внутренних дел (НКВД). В его состав вошли Главные управления государственной безопасности, рабоче-крестьянской милиции, пограничной и внутренней охраны, исправительно-трудовых лагерей (ГУЛАГ), другие службы. В 1937 году НКВД СССР сформировал единое Главное управление пограничных и внутренних войск, в состав которого были включены пограничные войска, внутренние войска, части оперативного назначения, части по охране железнодорожных сооружений, части по охране особо важных предприятий промышленности, конвойные части, военно-учебные заведения. Начальником Главного управления являлся заместитель Наркома СССР по войскам. В 1939 году части оперативного назначения, по охране железнодорожных сооружений, по охране особо важных предприятий промышленности, конвойные части получили наименования «войска».
Войска НКВД до 1934 года назывались войсками ОГПУ – войсками специального назначения. Основной составляющей служебной и служебно-боевой деятельности личного состава являлась защита государственной границы от проникновения на территорию страны всякого рода враждебного и преступного элемента, диверсионных и бандитских формирований, охрана важных объектов военного и народнохозяйственного значения, железных дорог и железнодорожных сооружений, а также конвоирование и охрана заключенных и военнопленных. На выполнение задач была нацелена служебная и боевая подготовка в войсках НКВД накануне Великой Отечественной войны. Командный состав войск, рядовые бойцы выполняли задачи службы в соответствии с Уставами – воинскими и ведомственными правовыми актами. Служба как служба, и войска как войска.
Время рождения войск НКВД связывается с началом существования Советской власти. Первыми специализированными вооруженными формированиями, предназначенными для борьбы с многочисленными врагами большевиков, стали отряды Красной гвардии, другие вооруженные группы, подразделения, созданные из рабочих, матросов. В марте 1918 года все они были объединены в Боевой отряд ВЧК и аналогичные отряды местных отделений чрезвычайных комиссий. Военизированные отряды ВЧК в ходе Гражданской войны выполняли оперативно-боевые задания по ликвидации не согласных с политикой Советской власти организаций, союзов, подпольных групп, отрядов анархистов и вооруженных мятежников, по пресечению массовых беспорядков. Большая работа проводилась отрядами ВЧК в борьбе с уголовным бандитизмом, преступниками всех видов.