Для органов госбезопасности особую ценность имели дешифрованные телеграммы, которые освещали шпионскую деятельность кадровых разведчиков, находившихся под официальным прикрытием иностранных дипломатических, военных и консульских представительств в СССР. Так, начатое в 1924 году чтение дешифрованной переписки польских военных атташе позволило получать тайные сообщения польской разведки, которая пыталась широко проводить шпионскую работу на территории СССР. Советская разведка была очень заинтересована в получении подобной информации.
Естественно, что в начальный период своей работы Спецотделу пришлось встретиться с большими трудностями. Опытных криптологов было мало, и каждому из них приходилось возглавлять работу по нескольким направлениям. Молодые сотрудники еще не владели необходимыми криптологическими и языковыми знаниями. Поэтому в 1921 году в связи с массовой организацией шифровальных подразделений были созданы краткосрочные (от двух до шести месяцев) курсы подготовки шифровальщиков.
Несмотря на это, перехват шифропереписки по многим линиям связи велся нерегулярно, возможности выделенных технических средств были очень ограничены. Все работы, связанные с анализом шифроматериалов, проводились только вручную. Были и другие трудности. Однако по мере укрепления Спецотдела, роста мастерства его сотрудников объем криптологических исследований по раскрытию шифров начал неуклонно расти. К 1925 году проводилась разработка шифров уже 15 держав. К 1927 году началось чтение японской переписки, а к 1930 году — переписки по некоторым линиям связи США.
Кроме разработки шифров иностранных государств одним из актуальных задач дешифровального отделения Спецотдела в этот период была разработка так называемой внутренней шифрованной переписки, т. е. нелегальной переписки белогвардейских и других контрреволюционных организаций, враждебных советскому строю. Архивные документы свидетельствуют, что специалисты 4-го отделения Спецотдела смогли раскрыть сотни разных шифров, ключей и условностей. Ими были прочитаны тысячи всевозможных писем, донесений и других конспиративных документов, в частности выполненных тайнописью.
В начале 1920-х годов Спецотделом было исследовано множество шифроматериалов царского Департамента полиции и жандармерии. Было прочитано 90 документов, по которым составлено десять основных ключей. По дешифрованным материалам было установлено много секретных агентов полиции и жандармерии, работавших теперь на фабриках и заводах различных городов.
Одной из контрреволюционных организаций, шифропереписка которой была впервые дешифрована в 1921 году, был «Народный союз защиты Родины и свободы» Бориса Викторовича Савинкова. Анализом ряда шифрованных документов было установлено, что члены этой организации использовали шифры пропорциональной замены. Вскоре они были раскрыты.