Однако Карлу Диму нельзя отказать в настойчивости. Он решил продолжить свою деятельность даже после того, как оказался распущен Немецкий имперский комитет физической культуры. Он смог сыграть на слабостях Чаммера, который не имел достаточных организационных навыков в сфере спорта. Выполняя свои прежние функции, но уже в аппарате Имперского комиссара по вопросам спорта, Дим не только сохранил свою зарплату, но и смог «укрепить» свою репутацию в среде «революционных» национал-социалистов. Поскольку имперский комитет прекратил свою деятельность, то его место должна была занять новая организация. На некоторое время таковой стал «Имперский союз руководителей немецкого спорта», который был учрежден 12 июня 1933 года. Однако это была переходная организационная форма, главная задача которой заключалась только в том, чтобы подготовить полную реорганизацию и унификацию немецкого спорта, что должно было сопровождаться созданием новой имперской организации. Членами «Имперского союза руководителей немецкого спорта», как правило, были люди, до этого работавшие в составе имперского комитета физической культуры. Однако подбор был поручен лично Чаммеру, а кроме этого все члены «Имперского союза» (кроме самого Чаммера) не имели права принимать решения, они обладали лишь правом совещательного голоса. Однако внедрение «фюрер-принципа» в область спорта поначалу мало что изменило. Канцелярия бывшего имперского комитета стала канцелярией имперского союза, почти не изменился и состав технического персонала. Неделю спустя после создания «Имперского союза руководителей немецкого спорта» Карл Дим уже претендовал на должность генерального секретаря этой организации.
Однако в последующие полгода Диму пришлось сосредоточиться совершенно на иных задачах. Во-первых, он вынужден был решать множество проблем, связанных с подготовкой Олимпиады. Во-вторых, его ожидала трехмесячная командировка в Турцию, в которой Карл Дим по поручению имперского правительства выступал в качестве консультанта. Теперь ему приходилось применять национал-социалистические принципы — вождизм, унификация и ориентация на военную службу — уже при организации спортивной жизни в этой восточной стране. В силу того что Дим постоянно находился в иностранных разъездах, он фактически был отстранен от принятия важнейших решений по вопросам организации немецкого спорта. Несколько позже критики из числа догматичных национал-социалистов поставят Диму в упрек, что тот «не сумел наладить живой контакт с имперским руководителем спорта