Когда конфликт с Италией был урегулирован, а прерванные началом войны международные контакты восстановлены, Имперское спортивное руководство решило посвятить себя решению более «перспективных» задач. Руководство рейха интересовало, в какой мере можно было подчинить его интересам Международный олимпийский комитет, равно как все олимпийское движение. Была поставлена задача, чтобы слово «олимпийский» стало синонимом слова «германский». 28 мая 1940 года, то есть через неделю после капитуляции Бельгии, Ганс фон Чаммер обратился к Гитлеру с просьбой посетить в Брюсселе графа Анри де Байе-Латура. Визит был продиктован отнюдь пе желанием узнать о самочувствии президента МОК, а стремлением добиться преобразования комитета в соответствии с интересами рейха. Первый разговор на эту тему было поручено вести Карлу Диму. Именно он должен был прозондировать почву, и Дим без промедлений отправился в Брюссель. После разговора на частные и общеполитические темы немец поведал о планах по преобразованию МОК. В целом Байе-Латур согласился с услышанными предложениями, хотя и внес в них несколько поправок. Первым обсуждался вопрос о месте проведения послевоенной Олимпиады. В 1944 году она должна была пройти в Лондоне, что даже в случае капитуляции Англии никак не устраивало ни Гитлера, ни Чаммера. Несмотря на то что война только-только началась, уже предпринимались попытки либо повторно провести игры в Берлине, либо в Риме. Однако Карла Дима больше всего волновал принцип формирования Международного олимпийского комитета. Ганс фон Чаммер настаивал на том, что состав МОК должен был быть «омоложен самым радикальным образом». Его новые члены должны были назначаться в соответствии с так называемым фюрер-принципом. В данном случае государство получало возможность устранять из состава МОК «неугодных» членов, заменяя их «более подходящими».
После того как Карл Дим рассказал Имперскому спортивному руководству о положительном отношении к планам реорганизации МОК Байе-Латура, в июле 1940 года стали предприниматься конкретные меры по их осуществлению. Но с этим дело застопорилось — уже в самой Германии было необходимо провести множество переговоров и согласований, а потому до осени 1940 года планы так и оставались планами. Лишь в ноябре 1940 года Ганс фон Чаммер, Карл фон Хальт и Карл Дим предприняли специальную поездку по городам Франции и Бельгии. Оказавшись в Брюсселе, они вновь встретились с Байе-Латуром.
Бельгийскому графу оставалось только лишь дать формальное согласие, и МОК был бы основательно «преображен». Но вопрос было решено отложить на некоторое время. Когда немецкая делегация отбывала в Германию, то она еще не полностью принимала в расчет тот факт, что Байе-Латур на неопределенное время распустил комитет. Теперь на графа бесполезно было оказывать давление. Имперскому правительству же оставалось только надеяться на «победоносный мир», после которого комитет мог бы заново начать свою деятельность. Каждая из сторон считала, что выиграла данный раунд. Немцы полагали, что реформирование МОК было всего лишь вопросом времени, тем более что они и без того полностью контролировали Международный олимпийский институт, секретариат комитета, а также выпуск журнала «Олимпийское обозрение». Граф Байе-Латур решил, что выжидание в его позиции было самым важным козырем. Он скончался 6 января 1942 года, так и не передав национал-социалистам контроль над олимпийским движением.