Эйвери Брэндедж принадлежал к числу именно таких фанатичных олимпийцев. Выступая в 1929 году перед представителями Торговой ассоциации Чикаго, он даже пытался обосновать собственный расовый идеал: «Не исключено, что мы можем стать свидетелями рождения новой расы, расы мужчин, которыми движет спортивное мастерство, являемое ими на спортивных площадках. Но ту же самую спортивную силу эти мужчины никогда не будут проявлять без лишней на то надобности в обыденной жизни. Это будет физически сильная раса, нравственно и духовно окрепшая. Эта раса не будет знать заката, так как она готова бороться за свои права и физически приспособлена к этому. Люди этой расы будут помогать своему противнику, верх над которым одержат в справедливом спортивном поединке. И они будут бесстрашны в желании устранить несправедливость». Конечно, эти идеи несколько отличались от расовой доктрины национал-социализма, но Эйвери Брэндедж никогда не скрывал своего восхищения тем, что в Германии нарождался «новый культ тела». Только принимая в расчет эти сведения, можно попять суть письма, которое граф Анри де Байе-Латур направил в ноябре 1933 года Брэндеджу. Это письмо было наполнено внутренними противоречиями. С одной стороны, Байе-Латур признавался в антисемитизме, с другой стороны, хотел преуспеть в деле защиты евреев-спортсменов. Когда он писал это сообщение, то его в первую очередь волновало, чтобы германские власти сдержали свое слово, которое немецкая делегация дала на заседании Международного олимпийского комитета.
Чтобы эти гарантии не были пустыми словами, Байе-Латур решил обратиться к Эйвери Брэндеджу: «Я полагаю, что было бы весьма полезным, если бы Любительский спортивный союз США по итогам своего ежегодного собрания обратился к спортивным организациям Германии, дабы удостовериться, что данные в Вене обещания не будут аннулированы под каким-нибудь предлогом. Немецкую сторону также надо уведомить о том, что если подобное произойдет, то будет поставлено под сомнение участие немецких атлетов в играх 1936 года, а также едва ли Американский олимпийский комитет выдвинет своего представителя для участия в работе организационного комитета по подготовке XI Олимпийских игр». Кроме этого Байе-Латур считал, что поддержка американских спортсменов может усилить его личные позиции, так как он нередко становился объектом для обвинений в сознательной дискредитации национал-социалистической Германии. Граф Анри де Байе-Латур не был в состоянии опровергнуть резкие заявления Теодора Левальда, в которых говорилось, что «критика Германии была исключительно порождением ненависти, которую испытывают американские евреи к нашей стране». Надо отметить, что Теодор Левальд был прекрасно осведомлен о том, что Байе-Латур был антисемитом, а потом решил сыграть на его чувствах.