После побед в пятиборье и десятиборье и двух завоеванных им золотых олимпийских медалей Торп стал одним из самых популярных иностранных спортсменов в Стокгольме. Журналисты искали его, чтобы взять интервью, любители спорта жаждали получить автограф. А когда олимпийская сборная Соединенных Штатов Америки вернулась на родину, блестящей победой Торпа гордилась вся страна. Его принял и поздравил сам президент Уильям Тафт.
В момент этого нового триумфа сам двукратный олимпийский чемпион и представить, конечно, не мог, какие горькие испытания ждут его впереди и что его блестящая победа в Стокгольме радует не всю Америку. Нашлись люди, которые не могли простить Торпу того, что он был не белым, а индейцем. Расисты решили любой ценой лишить великого спортсмена завоеванных им наград. А для этого все средства были хороши.
Несколько месяцев спустя в газетах появилось сообщение, что за два года до Олимпийских игр Джим Торп играл в бейсбол в какой-то полупрофессиональной команде, получая за это вознаграждение — 60 долларов в месяц — и тем самым нарушая свой статус любителя.
Обвинение было, что называется, притянуто за уши. Сам Джим Торп в ответ на это заявлял: «Я в самом деле играл в бейсбол в течение летних каникул в составе одной команды Северной Каролины, точно так же, как и многие другие мои коллеги, которые и по сей день считаются любителями. Просто мне очень нравится эта игра. Когда я вернулся из Стокгольма, мне предлагали большие деньги, чтобы я стал спортсменом-профессионалом. Но я отказался, потому что никогда не стремился к наживе».
Однако расистские настроения оказались сильны и в Национальном олимпийском комитете Соединенных Штатов Америки. Факты, подброшенные в прессу, рассматривались с явной предвзятостью. В результате Торп был дисквалифицирован. С этим решением, к сожалению, согласился и Международный олимпийский комитет, который в мае 1913 года аннулировал результаты выступлений Джима Торпа в Стокгольме и лишил его золотых медалей.
МОК намеревался вручить эти награды атлетам, занявшим в пятиборье и десятиборье вторые места. Но швед Хуго Висландер наотрез отказался это сделать. Спортсмен с достоинством заявил: «Я слишком дорожу своей серебряной медалью, чтобы принять чужую золотую. Победу одержал не я, а Торп». Тем не менее олимпийским чемпионом 1912 года в десятиборье во всех справочниках был назван именно он, а в пятиборье — норвежец Ф. Бье. На строчку вверх подвинулись, соответственно, и все, кто занял тогда остальные места.
Против решения Международного олимпийского комитета протестовали тогда многие известные спортсмены. Но все-таки случилось то, что случилось: имя Торпа было вычеркнуто из списка олимпийских чемпионов, а сам он пожизненно дисквалифицирован.