Розенберг теперь рассматривал Гиммлера и Бормана как опасных врагов. Годы спустя в своей тюремной камере в Нюрнберге он с горечью вспоминал, как они сговорились против него. «Вот так, – писал он с жалостью к себе и неуместной иронией, – началась моя кропотливая борьба за благородную концепцию рокового восточного вопроса… Мартин Борман отстаивал интересы рейха с предвзятостью по отношению к слабому Розенбергу, который, возможно, по-прежнему симпатизировал славянам больше, чем того требовало проведение Ostpolitik в военное время. И Гиммлер поддержал эту точку зрения…»
Конфликт между Гиммлером и Розенбергом продолжался. Еще до начала вторжения СС запросили более широкие полномочия на Востоке. Розенберг, всегда видевший во всем подвох, быстро узрел в этом вызов своему политическому превосходству и сразу же отклонил предложенную поправку. Гиммлер вернулся с подправленной версией, которая позволила бы Розенбергу издавать декреты – в соответствии с директивами Гиммлера. Розенберг снова возразил. Вежливо доложив фюреру о том, что ведутся «длительные обсуждения отношения полиции к новому порядку на Востоке», он ясно дал понять, что предложенные СС изменения для него были неприемлемы. Со временем борьба между Розенбергом и Гиммлером становилась все более напряженной.
Органы, занимавшиеся экономической эксплуатацией СССР, занимали особое место в конкурсе на власть. Министерство сельского хозяйства, министерство экономики, экономическое управление ОКБ под руководством генерала Георга Томаса и ведомства Германа Геринга – управление по четырехлетнему плану и особая полувоенная организация по эксплуатации Востока, Wirtschaftsstab Ost (Центральное торговое общество «Восток») – были заинтересованы в ограничении правомочий персонала Розенберга; все они были в разной степени не согласны с поддерживаемой им политикой.
К 10 декабря 1940 г. Верховное командование получило первый комплексный отчет о предполагаемом использовании восточных ресурсов. К февралю 1941 г. был набран штат «Ольденбурга» и была изложена его основная политика; это было кодовое название будущего торгового общества «Восток». Обозначая полномочия данной организации, генерал Томас «ясно дал понять, что она должна быть независимой от военных и гражданских администраций». Отчасти это было бюрократическое строительство империи, отчасти спрос был обусловлен рядом различных факторов. Не было ничего противоестественного в том, что конкретная организация, которой поручены вопросы экономической эксплуатации, поставит во главу угла свои собственные задачи. Но вермахт, Розенберг и Борман в кои-то веки сошлись во мнении: «Планы операций не должны подстраиваться под экономистов».