Здесь мы видим первый признак того, что власть резидента была ограниченной. На сеть коммунистических агентов за рубежом претендовала ещё одна служба - советская секретная полиция под руководством Феликса Дзержинского. Этот выходец из дворян был близок с Лениным и являлся беспощадным соперником Берзина ещё с момента образования Советского государства, поскольку секретная полиция стремилась ограничить деятельность Разведупра только военной разведкой.
Такая конкуренция не была свойственна лишь Советскому Союзу; тайная полиция и разведка всегда враждовали между собой, были ли это СД с абвером в гитлеровской Германии или ФБР с ЦРУ в Соединенных Штатах. Но в Советской России существовала ещё одна особенность: организация Дзержинского образовалась в 1917 году под названием "Чрезвычайная комиссия по борьбе с контрреволюцией и саботажем" - или "Чека" по начальным буквам первых двух слов, и получила полный контроль за государственной безопасностью. В 1922 году её переименовали в ГПУ (сокращение от Главного Политического Управления), и она потеряла часть своей абсолютной власти. Тем не менее Дзержинский сохранил свое превосходство над другими секретными службами.
Разведупр оказался в значительной мере ущемленным со стороны ГПУ. Разведка и контрразведка в Красной Армии и пограничных военных округах были переданы не Четвертому управлению разведывательной службы, а Третьему управлению Военного наркомата, отделы состояли исключительно из офицеров ГПУ и подчинялись специальному подразделению - Особому отделу.
Создание этого подразделения ознаменовало дальнейшее снижение авторитета разведслужбы, поскольку Особый отдел отвечал за всю шифровальную службу. Шифровальный отдел располагался в доме шесть на Лубянке в Москве, но только две комнаты этого здания были отведены для группы военных шифровальщиков под началом полковника Каркевича. Хотя ему и разрешалось передавать информацию непосредственно в Генеральный Штаб Красной Армии, но находился он в подчинении главы Особого отдела Глеба Бокия.
Еще одним конкурентом шпионской организации Берзина был Иностранный отдел ГПУ, образованный в 1921 году. В начале его основной задачей было наблюдение за сбежавшими на Запад белогвардейцами, но уже вскоре появились новые амбиции в области разведки. ИНО держал за границей резидентов-организаторов с их собственными осведомителями и впоследствии был представлен в каждой дипломатической миссии, его сотрудники обычно назначались секретарями посольств. Эти чиновники вели заметки о благонадежности каждого работника посольства, включая военного атташе, они отмечал все, что по весьма растяжимым понятиям ГПУ могло подпадать под "борьбу с контрреволюцией".