В связи с особым характером деятельности ВЧК ей требовались специальные вооруженные отряды для проведения обысков, арестов и облав, т. е. для непосредственной борьбы с контрреволюционерами и для охраны важнейших государственных учреждений.
14 января 1918 г. Совнарком поручил Дзержинскому организовать из энергичных и преданных революции людей специальные отряды. Этим постановлением СНК было законодательно оформлено создание вооруженной силы при ВЧК.
С апреля 1918 г., когда у ВЧК появился первый войсковой отряд в несколько десятков человек и до декабря численность его выросла почти в 30 раз.
Первая Всероссийская конференция чрезвычайных комиссий признала целесообразным создать особый корпус войск ВЧК для защиты Советской власти от внутренних врагов. К июлю 1918 г. формирование корпуса в основном завершилось. Возглавил его непосредственно председатель ВЧК и при нем стал функционировать штаб из четырех человек. В состав корпуса вошло 35 батальонов, которые размещались в наиболее важных стратегических пунктах — в крупных центрах, на железнодорожных узлах, на таможенных пунктах.
Создание новых отделов, корпуса ВЧК, а также целой сети местных комиссий качественно изменили положение ВЧК. Менее чем за год ВЧК обрела могучий аппарат и превратилась из малозначимого столичного учреждения в один из важнейших институтов Советского государства.
Вместе с тем, резко обострилась проблема совершенствования оперативной и следственной деятельности чрезвычайных комиссий. В связи с большим количеством злоупотреблений при осуществлении политики красного террора осенью 1918 — зимой 1919 гг. встал даже вопрос о целесообразности дальнейшего существования ВЧК. После жестких дискуссий с видными партийными и советскими работниками, включая даже членов ЦК большевистской партии, руководству ВЧК удалось отстоять существование комиссии и ее местных органов. Однако в ее деятельность и структуру были внесены некоторые коррективы.
С осени 1918 г. стала меняться система местных органов ВЧК. По мере централизации чекистского аппарата областные ЧК постепенно становились излишними, поэтому весной 1919 г. они были упразднены. После изгнания немецких оккупантов с Украины, Белоруссии и восстановления там Советской власти отпала надобность в пограничных ЧК в полосе, прилегающей к бывшей демаркационной линии. Их функции были переданы Наркомату по военным делам, но Особый отдел при ВЧК не устранился от обеспечения безопасности границ. 24 ноября 1920 г. Совет труда и обороны полностью возложил охрану всех государственных границ на Особый отдел ВЧК.