Однако, несмотря на то что в Вене руководство МОК получило письменные гарантии от немецкой делегации, граф де Байе-Латур не смог полностью избавиться от терзавших его подозрений. В итоге, когда в 1934 году в Афинах вновь состоялось очередное заседание Международного олимпийского комитета, то тема преследования евреев в Германии вновь оказалась на повестке дня. Впрочем, на этот раз Байе-Латур в качестве президента МОК отметил, что «в этой стране прилагаются самые серьезные усилия, чтобы избавить спорт от политического влияния». Но это не помешало ему попросить представителей Германии вновь озвучить гарантии, которые были даны в Вене. В то время членов МОК очень беспокоили события, происходившие в Германии. И их опасения не были безосновательными. Пройдет год, и на очередном партийном съезде, который окрестят «съездом свободы», будут приняты так называемые «Нюрнбергские законы», согласно которым евреи окажутся ущемленными в своих правах. Именно к этому моменту достигнет своего апогея волна акций, в ходе которых звучали призывы бойкотировать Берлинскую Олимпиаду. Наиболее сильно кампания критики и бойкота развернулась в США, и ее даже отчасти поддерживали американские члены МОК.
Между тем 7–8 марта 1935 года граф Анри де Байе-Латур проводил ревизию строящихся в Берлине олимпийских объектов. После этого он решил предпринять самые решительные меры. В октябре 1935 года он стал настаивать на личной встрече с Гитлером. Темой разговора должны были стать опять же еврейские спортсмены и проблема развернутой в США кампании бойкота. Чтобы упростить возможность встречи графа с фюрером, имперская канцелярии составила специальный документ, в котором Байе-Латур изображался как дружественный по отношению к Германии деятель. В частности, речь шла о письме американских членов МОК Ширила и Джанке, которые выражали скептическую позицию по поводу возможности проведения Олимпиады именно в Германии. Чтобы снять внутренние противоречия внутри Международного олимпийского комитета, Байе-Латур привел несколько аргументов, которые весьма ловко использовались Германией в собственных целях. Он указывал на то, что еврейские спортсмены в Германии были допущены к тренировкам, более того, на игры в Берлин была приглашена даже сборная Палестины. Президент МОК заявлял: «С марта этого года я нахожусь в постоянном контакте с господином Чаммером унд Остеном, который дал мне гарантии, что евреям разрешат входить в состав германской сборной». Более того, граф не упустил возможности, чтобы напомнить американцам, что у них в стране тоже не наблюдалось расового равноправия. В завершение он произнес, что ни одна из стран мира не разорвала дипломатических отношений с Германией из-за преследования евреев: «Не стоит спорт смешивать с политикой». На этот раз данный тезис играл в пользу Германии.