В 1935 году Мамсуров прошел спецподготовку. В те времена лица, являвшиеся тайными информаторами, делились на секупов и сексотов, то есть на секретных уполномоченных и секретных сотрудников. Мамсуров был назначен секупом Спецотдела «А» Разведывательного управления Генерального штаба Красной Армии, агентурный псевдоним — Ксанти. Спецотдел «А» занимался физическим устранением тех, кто мешал великому делу строительства коммунизма во всем мире.
В августе 1936 года Ксанти получил должность советника (на самом деле — командира) 14-го корпуса республиканской армии Испании. Корпус только предстояло сформировать. Это был первый в мире диверсионный корпус; Мамсуров его создал и успешно им руководил.
За организацию и проведение одновременного внезапного массированного удара диверсионных групп по аэродромам итальянской и германской авиации майор Мамсуров получил звание полковника (звания подполковника в Красной Армии было введено позже), был удостоен ордена Ленина, который с момента учреждения официально считался высшей наградой Советского Союза и в те времена ценился особенно высоко. Эрнест Хемингуэй лично знал «македонца» Ксанти и использовал его в качестве прототипа для одного из персонажей романа «По ком звонит колокол», не подозревая, что это майор советской военной разведки.
В 1938-1941 годах полковник Мамсуров — начальник отдела «А» (с 1940 года — 5-й отдел) Разведывательного управления Генерального штаба Красной Армии.
В мае 1941 года в Белоруссию были переброшены многочисленные группы диверсантов-интернационалистов — немцев, поляков, французов, испанцев. Мамсуров во главе оперативной группы Генерального штаба находился в районе Бреста и Барановичей. Он должен был руководить переброской диверсионных групп в германский тыл и координацией их работы.
Гитлер сорвал эти планы. На диверсантов-интернационалистов можно было бы положиться, если бы Красная Армия успешно наступала, но в обстановке всеобщего развала, паники и бегства надежность наемников вызывала сомнения, поэтому массовая их засылка в тыл противника была отменена.
4 июля 1941 года полковник Мамсуров по приказу Сталина лично участвовал в аресте командующего войсками Западного фронта генерала армии Павлова, которого оклеветали, свалив на него всю вину за разгром фронта, а затем расстреляли.
10 июля 1941 года Мамсуров назначен начальником разведывательного отдела штаба Главного командования Западного направления. В августе — начальник особой оперативной группы Разведывательного управления Генерального штаба, которая занималась заброской разведывательных и диверсионных групп (состоявших уже не из воинов-интернационалистов, а из советских граждан) в тыл противника и организацией партизанского движения на Западном, Северо-Западном и Ленинградском фронтах.