Слабой стороной этого «двойственного союза» стал ИНО ВЧК, который испытывал острую нехватку кадров и не имел сформировавшейся структуры за рубежом. А руководство работой одного и того же агентурного аппарата из двух центров вносило изрядную неразбериху. Из Москвы поступали противоречивые директивы, возникала путаница в денежной отчетности резидентур и т. п. Объединенные резиденты вели переписку с руководителями обеих разведывательных служб и неплохо пользовались своим положением, выбирая из потока указаний только те, которым хотели следовать, и обращаясь при случае к другой стороне, а то и прямо в РВСР.
В итоге уже весной 1921 г. начальник Разведывательного управления А. Зейбот заговорил о необходимости объединить не только зарубежную агентуру, но и центральное руководство. Как водится, каждый тянул одеяло на себя. Проект, рожденный в недрах Разведывательного управления, предусматривал передачу ему всей агентуры, ликвидацию ИНО ОГПУ, расширение агентурного отдела Разведывательного Управления. На долю ОГПУ приходилось лишь право давать некоторые задания. Естественно, чекисты с такой постановкой вопроса были категорически не согласны. Тогда Разведупр родил новое предложение: наоборот, ИНО передается весь личный состав разведаппаратов и агентурной сети, а Разведупр сохраняет за собой лишь право контроля за расходованием денежных средств, на участие в решении кадровых вопросов и выработки руководящих директив. ОГПУ опять не согласилось — чекисты не желали никакого контроля со стороны военной разведки. Военным дозволялось лишь участвовать (на уровне представителя РВС СССР) в выработке годового плана разведки и постановке отдельных заданий. Эти пререкания тянулись до 1923 г., когда на совещании РВС под председательством Э. М. Склянского вообще было признано нецелесообразным объединение агентурных аппаратов ИНО ОГПУ и Разведупра. Таким образом Склянский разрубил узел, который не в силах были развязать на многочисленных переговорах представители обеих разведок.
В результате в 1923 г. началось разделение зарубежной агентурной сети с назначением в каждую сеть своего резидента. К началу 1925 г. разделение практически закончилось. (Кстати, в ходе этого процесса оперативные работники сплошь и рядом меняли подчиненность, переходя из органов военной разведки в политическую и наоборот). В итоге остались довольны все, кроме Наркомфина — разделенные разведки обходились гораздо дороже. Впрочем, впоследствии не раз возвращались к этому вопросу, вновь пытаясь объединить разведки. Ничего путного из этого не вышло, и до сих пор военная и политическая разведки разделены и соперничают между собой.