На I Олимпиаде 1896 года свои первые 3 золотые медали Карл Шуман завоевал на соревнованиях гимнастов — две в командных соревнованиях, где немецкие спортсмены одержали победы в упражнениях на брусьях и перекладине, а третью — став индивидуальным чемпионом в опорном прыжке.
Четвертую золотую олимпийскую медаль Шуман выиграл на борцовском ковре. Соревнования борцов на I Олимпиаде проводились в классическом стиле, аналогичном современной греко-римской борьбе. Но тогда еще не было разделения борцов на весовые категории, а вдобавок время поединка не ограничивалось. Именно поэтому золотая медаль Шумана была завоевана при довольно драматических обстоятельствах.
В полуфинале «маленький Аполлон» победил британского атлета Ланчестона Эллиота, которого положил на лопатки за 5 минут. Побежденный, впрочем, на Афинской Олимпиаде тоже стал олимпийским чемпионом, но в другом виде спорта — тяжелой атлетике. А в финале Шуман встретился с греческим борцом Георгиосом Цитасом, который был выше его на 15 сантиметров и намного тяжелее. Схватка тем не менее была равной и продолжалась 40 минут. После этого судьи остановили ее из-за наступившей темноты, назначив продолжение на следующий день.
Кое-кто из очевидцев, правда, утверждает, что истинной причиной остановки была не темнота, а то, что Шуман уже был близок к победе, в то время как зрители-греки, да и судьи очень хотели, чтобы олимпийскую золотую медаль выиграл греческий борец. Но на следующий день через 25 минут после начала схватки Цитас все же оказался прижатым спиной к ковру. Так «маленький Аполлон» стал четырехкратным олимпийским чемпионом.
На I Олимпиаде 1896 года Карл Шуман выступал также в соревнованиях по легкой атлетике — толкании ядра, прыжках в длину, тройном прыжке — и тяжелой атлетике — упражнении двумя руками, но здесь наград не завоевал. Однако 4 золотые медали и без того сделали его героем первых Олимпийских игр Нового времени.
В следующих Олимпийских играх Карл Шуман уже не участвовал. В 1898 году он переехал в Англию, где стал тренировать английских гимнастов. А когда в 1906 году в Афинах были устроены Внеочередные Олимпийские игры, посвященные 10-летию I Олимпийских игр, наследный греческий принц Константин пригласил Шумана в качестве почетного гостя.
В 1908 году IV Олимпиада проходила в Лондоне. Шуман в это время продолжал работать в Англии, но вместе с тем был одним из руководителей олимпийской команды Германии. Судьба Шумана круто изменилась в 1914 году, с началом Первой мировой войны. Как подданного Германии, власти Великобритании поместили его в лагерь для перемещенных лиц. Заключение, впрочем, было не слишком строгим, и в лагере он тоже организовал кружок гимнастики. Когда война закончилась, Шуман вернулся в Германию.