Одним из главных центров российской эмиграции, выступавших за участие эмигрантов в войне против СССР, стал германский отдел Русского общевоинского союза. В первые два месяца войны на Восточный фронт были направлены 52 члена РОВСа, находившихся на учете в берлинском отделе. Еще накануне войны его начальник А. А. фон Лампе в письме главнокомандующему сухопутными войсками Германии генерал-фельдмаршалу В. фон Браухичу говорил следующее:
«Мы твердо верим, что в этом военном столкновении доблестная германская армия будет бороться не с Россией, а с овладевшей ею и губящей ее коммунистической властью… И потому теперь… я ставлю себя и возглавляемое мною Объединение русских воинских союзов в распоряжение германского военного командования».
На первом этапе войны эта часть эмиграции видела одной из своих главных задач создание собственной армии. Белоэмигрантские организации вели активную вербовку добровольцев. Специальные вербовочные пункты действовали в Белграде, Берлине, Париже, Праге. Предполагалось, что это произведет огромный пропагандистский эффект в Советском Союзе и население страны поднимется на борьбу против советской власти.
Однако в это время Третий рейх, добившийся первых успехов на Восточном фронте, исключал создание каких бы то ни было русских национальных военных формирований. Несмотря на это, позже при деятельном участии Б. А Хольмстона-Смысловского в составе абвера были образованы 12 учебно-разведывательных батальонов. Первоначально эти структуры находились в подчинении штаба «Валли», осуществлявшего общее руководство разведывательной и контрразведывательной работой против СССР. В 1943 году эти части были сведены в Дивизию особого назначения «Россия», преобразованную в 1945-м в Первую русскую национальную армию.
Кроме того, в структуре вермахта, а затем и войск СС появились казачьи части, формированием которых занимались находившиеся в эмиграции генералы А. Г. Шкуро и П. Н. Краснов. В руководстве НСДАП казаков считали потомками остготов, то есть народом арийской расы, а значит, они пользовались бо́льшим доверием гитлеровских идеологов, чем русские эмигранты. Как правило, такие подразделения входили в состав немецких дивизий, воевавших на южном участке Восточного фронта, и занимались борьбой с партизанами, охраной стратегически важных объектов, выполняли задачи разведки. Летом 1942 года были созданы два казачьих кавалерийских полка «Платов» и «Юнгшульц», которые вместе с несколькими другими формированиями составили Первую казачью кавалерийскую дивизию под командованием Г. фон Панвица. До конца войны это подразделение размещалось на Балканах.