Однако конфликт на этом не был исчерпан. В знак протеста «Немецкий турнершафт» вышел из состава Немецкого имперского комитета физической культуры. Вернуть организацию в комитет удалось не сразу. Карлу Диму пришлось приложить для этого немало усилий. Однако итогом этих нелицеприятных переговоров стало создание Немецкого Олимпийского комитета, во главе которого встал сам Дим. Именно он стал координировать все контакты немецких спортсменов с международным олимпийским движением. Как не покажется странным, но импульсом к созданию Немецкого Олимпийского комитета стало не желание присоединиться к международному движению, а диаметрально противоположная позиция, которую занял «Немецкий турнершафт». В любом случае Карл Дим получил прекрасный повод, чтобы начать активную агитацию общественности в пользу участия в Олимпийских играх. Чтобы ослабить позиции ультраконсервативных «гимнастов», он использовал как раз аргументы, учитывающие такие понятия, как «национальная честь» и «национальная гордость». Карл Дим заявлял: «Немец более не может позволить себе быть презираемым, немец должен требовать, чтобы Германия завоевывала мир. Это должно стать лозунгом для всех наших устремлений в области культуры, науки, искусства, экономики. После войны мы потеряли слишком много времени, чтобы завоевать себе место под солнцем. Это относится и к немецкому спорту, который стал частью немецкого образа жизни. Он более не может жить в замкнутости, изолированный от международной арены в своем национальном углу».
Теперь Карл Дим предпочитал не обращать внимания на «негров, топчущих берега немецкого Рейна». Теперь он делал ставку на национальное величие, которое было необходимо продемонстрировать всему миру. Хотя бы поэтому он уделял большое внимание тому, чтобы немецкая сборная обязательно приняла участие в зимних Олимпийских играх, которые в 1928 году проходили в Санкт-Морице (Швейцария), и в летней Олимпиаде, которая в том же году состоялась в Амстердаме. Карла Дима не могло не волновать, что впервые за 16 лет немецкие спортсмены могли бы представить свое отечество в борьбе на самых престижных соревнованиях мира.
26 мая 1926 года Немецкий имперский комитет физической культуры получил давно ожидаемое приглашение из Амстердама, после чего началась непосредственная подготовка к участию в Олимпиаде. Главная задача, которую перед собой поставил на этом подготовительном этапе Дим, заключалась в том, чтобы собрать как можно больше пожертвований и выплат от органов власти и от немецкой индустрии. А для этого надо было развернуть пропагандистскую кампанию. Опуская некоторые детали, можно сказать, что Карл Дим справился с этой задачей блестяще. За относительно небольшой промежуток времени ему удалось собрать более миллиона марок. Распределением этих средств должна была заняться специальная финансовая комиссия, в состав которой входил и сам Дим. Кроме этого именно он стал инициатором проведения «предолимпийских» игр, в ходе которых можно было выявить среди участников самых подготовленных и самых талантливых. Дим отдавал подготовке к участию в Олимпиаде не просто всю свою энергию, но и всего себя. Он планировал каждое мероприятие до мельчайших деталей. Например, он лично подбирал в Амстердаме жилье для немецких спортсменов. В качестве признательности за эту бурную деятельность Дим был избран руководителем немецкой сборной (в то время это называлось «шеф национальной миссии»).