О том, какое значение приобрели особые отделы в годы Гражданской войны, свидетельствует тот факт, что 18 августа 1919 года решением ЦК РКП(б) начальником Особого отдела ВЧК был назначен Ф. Э. Дзержинский, одновременно являвшийся председателем ВЧК. В июле 1920 года на этом посту его сменил будущий председатель ОГПУ Вячеслав Менжинский. Заслуги Особого отдела ВЧК в борьбе с военным шпионажем и вредительством были отмечены приказом Реввоенсовета республики от 20 декабря 1922 года, наградившим его орденом Красного Знамени.
В начале своей чекистской деятельности четырнадцатилетний Павел Судоплатов занимался в основном различной технической работой. Он был письмоводителем, регистратором, машинистом-систематизатором. Кроме того, опыт, приобретенный при выполнении обязанностей телефониста, а затем шифровальщика, оказался полезен. Павел печатал документы с грифом «секретно», направляемые командованию, и расшифровывал телеграммы, получаемые руководством Особого отдела непосредственно от главы ВЧК Феликса Дзержинского. Постепенно Судоплатова стали привлекать к выполнению боевых чекистских операций.
Главной задачей Особого отдела дивизии в то время было оказание помощи местному ЧК в проникновении в бандитское подполье украинских националистов, руководимых Петлюрой и Коновальцем. Вооруженные банды националистов-подпольщиков вели активную диверсионную работу против органов советской власти на местах. Чекистам удалось установить диалог с их руководителями и провести с ними ряд неофициальных переговоров. Судоплатов выступал содержателем явочной квартиры, где проводились эти переговоры, и обеспечивал их безопасность. «Опыт общения с главарями формирований украинских националистов, — подчеркивал Судоплатов, — помог мне в дальнейшем. На своей собственной шкуре испытал я, каково иметь дело с заговорами в подполье». Следует отметить, что во время службы в Житомире в начале 1923 года Павел вступил в комсомол.
Не менее важным направлением деятельности Особого отдела, в которой принимал участие молодой чекист Судоплатов, являлось проведение контрразведывательных операций, направленных против шпионов и диверсантов.
Война с украинскими националистами продолжалась почти два года и закончилась компромиссом: их главари приняли амнистию, которую дало им правительство советской Украины. «Произошло это лишь после того, — отмечал в своих воспоминаниях Павел Анатольевич, — как кавалерийский отряд в две тысячи сабель, посланный Коновальцем в Житомир, был окружен частями Красной Армии и сдался. Банда Коновальца потерпела сокрушительное поражение. В этих боях погиб мой старший брат Николай, служивший в погранвойсках на польской границе. Я же подал рапорт о переводе в Мелитополь, чтобы быть поближе к семье и иметь возможность помогать ей».