Для поддержания боевого духа солдат и офицеров, сохранения традиций и войсковой дружбы при РОВС существовали союзы и объединения офицеров, георгиевских кавалеров, офицеров штаба, гвардейцев, инвалидов, Комитет казачьих организаций, Военно-исторический кружок, полковые собрания.
С этой силой наше государство не могло не считаться. Усилиями советских органов государственной безопасности в конце 1930-х годов РОВСу был нанесен серьёзный удар: в сентябре 1937 года Миллер был тайно вывезен советской разведкой в Москву. После проведённого следствия он был осуждён и расстрелян. Руководящие органы РОВС были разложены изнутри, и к 1941 году союз прекратил своё существование.
Разложение РОВС
(из оперативной справки)
После завершения операции «Трест», проводившейся разведкой и контрразведкой ВЧК — ОГПУ в 1922–1927 годах по упреждению и сковыванию диверсионно-террористической деятельности Русского общевоинского союза против Советской России, а затем и СССР, руководство РОВС вновь активизировало заброску на территорию СССР хорошо подготовленных групп боевиков, каждая из которых действовала автономно. Идеологом и непосредственным организатором этой работы являлся А.П. Кутепов, ставший после смерти в 1928 году Врангеля и в 1929 году великого князя Николая Николаевича единоличным руководителем Белого движения за рубежом.
С присущими ему упорством и настойчивостью Кутепов принимал меры к практической реализации плана по заброске в СССР боевиков для осуществления террористических актов. Это обстоятельство поставило перед руководством ОПТУ вопрос о проведении операции по нейтрализации Кутепова.
На основе собранных через надежную агентуру сведений об образе жизни Кутепова, его привычках, принимаемых им мерах личной безопасности, в Москве была разработана операция по его похищению, осуществление которой было поручено опытному нелегалу Якову Серебрянскому, руководителю Особой группы при председателе ОПТУ, и отобранным им для этого нелегалам. Проведение операции было намечено на воскресенье 26 января 1930 года, так как, по полученным разведкой достоверным данным, Кутепов в этот день должен был в 11.30 присутствовать на панихиде по барону Каульбарсу в Галлиполийской церкви на улице Мадемуазель в двадцати минутах ходьбы от его дома.
Накануне, 25 января, Кутепову одним из сотрудников опергруппы была передана записка, в которой ему назначалась важная кратковременная встреча на его маршруте к церкви. При этом учитывалось, что Кутепов на важные встречи, связанные с агентурной и боевой деятельностью РОВС, всегда ходил один. Прождав некоторое время «курьера» на трамвайной остановке на улице Севр, Кутепов продолжил свой путь к церкви. На улице Удино он был перехвачен опергруппой, представившейся сотрудниками французской полиции, и увезет за город на автомашине. Однако доставить его в Москву и, как планировалось, предать суду не удалось, так как по дороге Кутепов скончался от сердечного приступа.