В своих воспоминаниях, которые Карл Дим написал уже после окончания Второй мировой войны, он предположил, что стал жертвой своеобразного заговора, который организовали национал-социалистические студенты и Карл Крюммель, который, кроме всего прочего, являлся сотрудником ректората. Напомним, что Карл Крюммель в 1933 году мечтал о том, что займет пост Имперского комиссара по делам спорта. На практике же ему удалось лишь возглавить структуру, которую с некоторыми оговорками можно считать преемницей Немецкого института физической культуры. Речь идет об Имперской академии физического воспитания. В этом предположении нет ничего нереального. Крюммель всеми силами пытался устранить конкурентов из различных областей спорта, а потому кажется вполне правдоподобным, что он спровоцировал отставку Карла Дима с поста проректора института. К тому же не надо забывать о том, что Дим не был сторонником политизированного подхода к обучению в институте физической культуры. Новое же руководство Германии, напротив, полагало, что все обучение и воспитание в рейхе должно было быть проникнуто идейным духом национал-социализма. Хотя бы по этой причине из многих высших учебных заведений во время «национальной революции» пытались удалить не только «либералов» и «марксистов», но и «консерваторов».
Не меньше проблем возникало и с должностью Карла Дима, которую тот занимал в Немецком имперском комитете физической культуры. Будучи генеральным секретарем комитета, он получал ежегодное жалованье в размере 18 тысяч марок, что полностью соответствовало заработной плате министериаль-директора. Причем подобное денежное содержание Карл Дим должен был получать вплоть до достижения возраста 65 лет. Втайне Дим надеялся, что национал-социалисты оценят его прошлые заслуги перед немецким спортом и оставят в его реорганизованной структуре. Хотя бы по этой причине Дим в своих обращениях и письмах к новым властителям акцентировал внимание на том, что «всегда пытался делать немецкий спорт национально ориентированным и пригодным для военных целей». Кроме этого ему пришлось согласиться на то, чтобы распространить «фюрер-принцип» на всю сферу спорта. Об этом свидетельствует статья Дима, которая была опубликована в свое время в сборнике «Олимпийский огонь». Дим предусмотрительно утверждал, что представленная в указанном сборнике статья была написана им в 1923 году. Называлась она «Тоска по вождю». Якобы в основу этого материала была положена речь, произнесенная Димом перед студентами Немецкого института физической культуры на открытии зимнего семестра 1923–1924 годов. В ней содержался следующий пассаж: «Когда мы сегодня произносим слово «вождь», то подразумеваем не полководца, не военного командующего, а совершенного руководителя, относящегося ко всем сферам политики, общественной жизни и свободного труда».