Казалось, мечты Карла Дима сбывались. Он был назначен генеральным секретарем организационного комитета, в то время как президентом Олимпийского комитета являлся Карл фон Хальт. Дим решил привнести в церемониал игр новые, им самим выдуманные элементы. По образцу с олимпийским огнем, доставлявшимся из Олимпии, он решил провести аналогичный ритуал, за тем лишь исключением, что огонь должен был доставляться в Гармиш-Партенкирхен из Шамони, где состоялась первая зимняя Олимпиада. Массовый заезд на лыжах должен был превратиться во что-то фантастическое. По сигналу в десяти различных направлениях и по разным трассам должны были одновременно стартовать 10 тысяч человек. Конечно, собрать такое количество одних спортсменов было затруднительно, а потому планировалось привлечь части вермахта. Но всем этим планам пе было суждено сбыться. 1 сентября 1939 года Германия напала на Польшу — началась Вторая мировая война.
Вовлеченный в дипломатические игры Третьего рейха Карл Дим был вынужден поставить на карту свою многолетнюю репутацию. Когда в первых числах августа 1939 года в Гармиш-Партенкирхен прибыл граф Байе-Латур, желавший лично убедиться в том, как идет подготовка к Олимпиаде, то Дим продолжал свою миссию. Тогда уже ни для кого в Европе не было секретом, что отношения между Польшей и Германией были предельно натянутыми. Однако на вопрос графа о возможности начала войны Дим ответил: «Едва ли фюрер стал бы приглашать в страну зимнюю Олимпиаду, если бы планировал начать военные действия». Сейчас такой аргумент кажется наивным. Но Дим был настолько искренним, что Байе-Латур все-таки поверил в «миролюбие» рейха. Три недели спустя бельгийский граф поймет, что стал жертвой пропагандистского обмана и что Карл Дим больше ценил преданность своей стране, нежели следование олимпийским принципам.
Несмотря на то что Германия начала войну против Польши, строительные работы в Гармиш-Партенкирхене продолжались еще не одну неделю. Судя по всему, Гитлер надеялся на скорейшее заключение мира с западными державами. После того как Польша пала под ударами германской армии, прибегнувшей к тактике «блицкрига», Гитлер немало поразил многих, когда 12 октября 1939 года выступил с предложением заключить мир. В первую очередь это предложение было адресовано западным странам, но оно было решительно отвергнуто. И только после этого строительство в Гармиш-Партенкирхене стало сворачиваться. К тому моменту на возведение новых спортивных объектов уже было потрачено более 4 миллионов рейхсмарок. Чтобы стройка не превратилась в разрушающийся долгострой, было принято решение пригнать в это баварское местечко 230 чешских рабочих. Их принудительный труд использовался для того, чтобы по возможности завершить некоторые из строений И законсервировать те, чье окончательное возведение не представлялось возможным. Если эти объекты не могли использоваться для Олимпиады, то это вовсе не значило, что они не имели никакого значения для национального спорта.