Вскоре у него появилось немало врагов среди иностранных коммунистов, поскольку Берзин явно ставил интересы безопасности России выше интересов мирового коммунистического движения.
Берзин изучал методы работы царской секретной службы, копировал их и улучшал. Со временем он создал центральный орган во главе с руководителем, первый помощник которого официально назывался командиром, что говорило о его ответственности за техническое и административное управление секретной службой.
Берзин создал в главном управлении шесть подразделений: Первое "Агентура" - отвечало за работу агентов за границей. Второе - "Оперативное управление" - занималось военной разведкой, диверсионной деятельностью и шпионажем. Третье - "Информационное управление" - отвечало за сбор, оценку и распространение полученной информации. Четвертое - "Главное управление подготовки" - контролировало отбор и обучение агентов и информаторов. Пятое - "Управление внешних сношений" - отвечало за инструктаж военных атташе. Шестое - "Управление разведывательной связи" (созданное позднее) занималось радиоразведкой.
Самым главным было Оперативное управление. Оно состояло из шести отделов, первые три из которых были созданы по географическому признаку: Западная Европа, Ближний Восток, Америка с Дальним Востоком и Индией. Четвертый отдел отвечал за приобретение технического разведывательного оборудования (радиопередатчики, чернила для тайнописи, фототехника и т. д.); пятый организовывал террористические операции за рубежом, а шестой занимался дезинформацией. Во время Второй мировой войны в западных военных округах дополнительно создавались шифровальные и разведывательные отделы.
Главное управление в Москве на Кропоткинской напрямую было связано с советскими дипломатическими миссиями за рубежом. В большинстве случаев работа велась через являвшихся его представителями военных атташе, которые получали инструкции из Москвы и передавали их резидентам - настоящим руководителям агентуры в соответствующих странах. Резидент жил за пределами посольства или дипломатической миссии, чаще всего был советским гражданином и руководил двумя-тремя группами информаторов. Он передавал информацию военному атташе, который был для него единственным каналом связи с центром.
Резидент и его агенты могли действовать независимо только в случае войны; до начала военных действий военный атташе должен был обеспечить их радиопередатчиками, хранившимися в каждом посольстве, кодами и деньгами, а затем контакты с Москвой становились анонимными, через радиостанцию в Москве.