В 1927 году шифровальный отдел НКИД, состоявший из трех подотделов, был реорганизован в секретно-шифровальный отдел в составе двух подотделов. На базе 3-го подотдела был образован секретный архив НКИД.
1 декабря 1929 года приказом ОГПУ № 282 в составе ОГПУ, кроме Спецотдела, было образовано еще Центральное шифровальное бюро (начальник — В. М. Колосов, он же — начальник 1-го отделения Спецотдела), ответственное за шифрованную связь.
Спецотдел в тот период состоял из таких подразделений:
— 1-е отделение — наблюдение за сохранением режима секретности во всех партийных, государственных и общественных организациях, начальник — В. М. Колосов;
— 2-е отделение — создание шифров и кодов для ОГПУ, НКВМД и НКИД, радиоперехват, начальник — Федор Григорьевич Тихомиров;
— 3-е отделение — руководство шифровальной работой в системе ОГПУ, связь с заграничными резидентурами, а также руководство лагерями ОГПУ, начальник — Федор Иванович Эйхманс, он же помощник начальника Спецотдела;
— 4-е отделение — дешифровка перехваченных документов, начальник — Александр Григорьевич Гусев (с сентября 1923-го по январь 1938 года), он же — помощник начальника Спецотдела;
— 5-е отделение — криптографическое обслуживание военного ведомства, начальник — Владимир Дмитриевич Цибизов;
— техническое отделение, начальник — Антон Дмитриевич Чурган;
— лаборатория (некоторое время именовалась 7-м отделением) — прикладная химия и графология, начальник — Евгений Евгеньевич Гопиус;
— фотографическое отделение, начальник — П. А. Алексеев.
Круг вопросов, которые изучались подразделениями, работавшими на лабораторию Гопиуса, был чрезвычайно широким: от изобретений всяческих приспособлений для радиошпионажа до исследований солнечной активности, земного магнетизма и проведения разных научных экспедиций. Здесь изучалось все, что имело любой оттенок таинственности.
Контроль технических новшеств советской криптослужбы осуществлял заместитель начальника ее оперативного отдела Ф. И. Эйхманс. Все специалисты-криптологи и радиотехники проходили по секретному внештатному расписанию. Общее количество личного состава Спецотдела составляло 189 человек.
Интересно, что начальник Спецотдела Г. И. Бокий предпринимал попытки использования для криптологической деятельности специалистов оккультных и мистических наук. Так, зимой 1924 года он привлек к работе в Спецотделе ученого-мистика Александра Васильевича Барченко (1881–1938). Основные научные интересы этого исследователя были сосредоточены в сфере изучения биоэлектрических явлений в жизни клетки, работе мозга и живом организме в целом. Свои лабораторные опыты А. В. Барченко совмещал с должностью эксперта Спецотдела по психологии и парапсихологии. В частности, им разрабатывалась методика выявления лиц, склонных к криптологической работе.