В 1923 году Карл Дим не без внутренней гордости мог сообщить публике, что «Германия вновь вошла в международную спортивную семью». Впрочем, речь шла об Олимпиадах. Неофициальное взаимодействие с Международным олимпийским комитетом началось только в 1923 году. Именно тогда Пьер де Кубертен пригласил Карла Дима в Рим, где проходила очередная сессия МОК. Однако Дим потребовал официального приглашения, в противном случае он грозился отказаться от поездки. Позиция Карла Дима была предельно понятна. Он был возмущен тем, что никак не мог повлиять на решение Международного олимпийского комитета, который решил не допускать Германию до участия в Олимпийских играх 1924 года, которые проходили в Париже. С другой стороны, он отказывался от членства в МОК, которое ему мог обеспечить Пьер де Кубертен. Реакция Карла Дима была настолько бурной, что на некоторое время он вновь дистанцировался от международного олимпийского движения. В некоторых из своих выпадов в адрес МОК он даже позволял себе расистские пассажи: «Даже Олимпийские игры в 1924 году решено провести во Франции, в стране, которая захлебывается в приступах враждебной ненависти… Ни один немец не появится на так называемом празднике мира в Париже до тех пор, пока негры во французской военной униформе топчут берега немецкого Рейна![4] Для нас полновесной заменой должны стать наши собственные состязания». Впрочем, скрытый расизм был присущ Карлу Диму почти всегда. Еще в годы Первой мировой войны он не раз рассуждал в своих статьях о «непобедимости германской расы». Но нельзя не отметить, что Дим никогда не был расистом в национал-социалистическом смысле этого слова.
Но, несмотря на эти размолвки, сближение немецкого спорта и международного олимпийского движения было неизбежным. Эта тенденция стала вполне отчетливой, когда в 1924 году в состав Международного олимпийского комитета были введены президент имперского комитета физической культуры Теодор Левальд и Оскар Раперти, являвшийся главой Немецкого союза весельного спорта. После этого Карл Дим был просто-напросто вынужден вновь искать контактов с олимпийцами. В 1925 году Левальд, Дим и еще пять немецких спортивных функционеров официально принимали участие в VIII Олимпийском конгрессе, который проходил в Праге. На этот раз немцы не только были полноправными участниками мероприятия, но даже сыграли на нем важную роль. Когда Германия в 1926 году вступила в Лигу Наций, то постепенно нормализовались международные и внешнеполитические отношения. После этого Карл Дим вновь стал верить в то, что было возможно возвращение к изначальным идеям олимпийского движения. Впрочем, эти события встретили понимание далеко не у всех. С протестами выступали многие националистические спортивные объединения, к числу которых можно отнести «Немецкий турнершафт». Они пытались организовать бойкот Олимпийским играм, которые в 1928 году проходили в Амстердаме. Спортсмены-националисты считали невозможным состязаться с представителями стран, с которыми Германия воевала в Первой мировой войне. Это считалось «национальным позором». Но, вопреки этому сопротивлению, Германия все-таки приняла участие в этой Олимпиаде.