Принимая во внимание, под каким углом подавалась деятельность Байе-Латура, нет ничего удивительного, что он воспринимался как дружественный рейху деятель. Прежде чем организовать его встречу с Гитлером, Теодор Левальд подготовил для имперской канцелярии небольшую биографическую справку, в которой отразил основные вехи жизни президента МОК. Аристократ, близкий в свое время к покойному бельгийскому королю Альберту; много времени уделил дипломатической службе; состоял в браке с дочерью князя Клари-Альрингена; член МОК с 1903 года; в 1925 году стал наследником Кубертена; в 1920 году президент организационного комитета по проведению Олимпийских игр в Антверпене. Теодор Левальд насколько мог восхвалял «совершенную беспристрастность графа». Учитывая кампании бойкота и дискуссии, имевшие быть внутри МОК, Левальд добавлял: «Когда я в 1931 году предложил провести Олимпиаду в Берлине, то поддержал это начинание, а теперь выступаю против клеветнических измышлений, благодаря которым Америка хочет испортить репутацию Германии». Развивая этот сюжет, Левальд добавлял: «Граф готов лично направиться в Америку, чтобы, используя свое влияние и авторитет, положить конец кампании травли Берлинской Олимпиады».
По большому счету о встрече Гитлера и графа Анри де Байе-Латура, которая произошла 5 ноября 1935 года, известно не очень много. В официальных сообщениях пресс-службы имперского правительства лишь сообщалось, что «рейхсканцлер Гитлер в присутствии Фрика, Чаммера и Левальда принял президента МОК». Также указывалось, что состоялась длительная беседа, суть которой не передавалась. О ее содержании можно только догадываться, но через несколько дней Байе-Латур заявил своим коллегам по Международному олимпийскому комитету: «Я имею честь довести до вашего сведения, что имел беседу с германским рейхсканцлером. Расследование, предпринятое мною, позволяет говорить, что ничто не может помешать проведению XI Олимпийских игр в Берлине и в Гармиш-Партенкирхене. Немецкий олимпийский комитет с глубоким почтением относится к принципам, которые изложены в Олимпийской хартии». После этого Байе-Латур заявил прессе, что ни один из членов МОК не поддерживает кампанию бойкота берлинских игр, так как «эта кампания является сугубо политической, и основывается она на беспочвенных утверждениях, ошибочность которых я могу легко разоблачить». Как бы то ни было, но визит Байе-Латура в Берлин на некоторое время защитил еврейских спортсменов Германии. Однако нельзя не признавать, что граф заблуждался, — он оказался во власти иллюзий.