Как уже говорилось, продолжалась в эти годы и активная борьба белоэмигрантов с Советской властью.
В 1925 году основатель и первый руководитель белоэмигрантского Русского Обще-Войскового Союза (РОВС) Петр Николаевич Врангель внезапно оставил свой пост и из Парижа уехал в сербский город Сремски Карловцы, где занялся литературной деятельностью — написал записки о гражданской войне на юге России («Воспоминания барона П. Г. Врангеля»).
Его место занял великий князь Николай Николаевич. Основную роль в проведении тайных операций против Советской России играл, однако, не Николай Николаевич, а начальник боевого отдела РОВС генерал Александр Павлович Кутепов. Ветеран русско-японской и герой Первой мировой войны, активный участник Белого движения, человек, пользовавшийся большим авторитетом среди белогвардейских офицеров.
В 1926 году в структуре РОВСа появилось тщательно законспирированное подразделение — так называемая «внутренняя линия». Интересна история появления этого термина. Когда белогвардейские офицеры приходили в канцелярию РОВС, то их спрашивали, по какой линии они хотят работать: внешней или внутренней. Первая подразумевала относительно легальную работу — преподавателя, техника, инструктора и т. п., а вторая — секретную. Сотрудники «внутренней линии» занимались вопросами разведки и контрразведки. Также ее задачами были: подготовка государственного переворота в СССР и осуществление терактов в отношении не только руководителей Советского Союза, но и против сотрудников организаций, советских и партийных учреждений (т. н. «средний террор»).
Для достижения поставленных целей планировалось создать в СССР мощное антисоветское подполье. Предполагалось использовать советских граждан из числа «бывших», офицеров Красной Армии (однокашников и однополчан членов РОВСа), а также родственников эмигрантов. Тактика оказалась малоэффективной. К «бывшим» советские власти всегда относились подозрительно, часто справедливо подозревая их в нелояльности и тайной антисоветской деятельности. А после 1927 года их положение ухудшилось. Руководство органов госбезопасности предприняла ряд упреждающих мероприятий с целью нейтрализации потенциальной «пятой колоны». Да и к тем, кто поддерживал контакты с проживающими за границей родственниками, в Советском Союзе полного доверия не было. Поэтому репрессии в отношении «бывших» в конце двадцатых годов прошлого века объяснялись просто — советская власть пыталась нейтрализовать «пятую колону». Мера оказалась эффективной. В 1937 году РОВС и другие белогвардейские организации знали о ситуации в СССР значительно меньше, чем в 1921 году.