«Немецкий трудовой фронт» в Гармиш-Партенкирхене отказывал евреям в предоставлении гостиничных номеров. В министерстве внутренних дел полагали, что ситуация рисковала выйти из-под контроля. Если бы внезапно не остановилась организованная местными властями антисемитская пропаганда, то не исключались эксцессы, устроенные местным населением. Дело могло дойти до нападений на тех, кого местные жители посчитали евреями. Все это никак не соответствовало заверениям, которые были даны не только графу де Байе-Латуру, но и Эйвери Брэндеджу, и другим представителям МОК. По этой причине Карл фон Хальт, являвшийся президентом организационного комитета по проведению зимних Олимпийских игр 1936 года, вполне откровенно сообщал в своем письме Пфундтнеру: «Вы можете быть уверенным, что я проявляю столь повышенное внимание к этой проблеме отнюдь не потому, что я хочу помочь евреям, по потому, что меня заботят исключительно олимпийская идея и Олимпийские игры, которым, с давних пор занимаясь общественной деятельностью, я посвящаю все свое время».
Однако министр внутренних дел Вильгельм Фрик не спешил с принятием решения. Узнав о сложившейся в Гармиш-Партенкирхене, а равно как и в той части Баварии обстановке, он после некоторого раздумья обратился в рейхсканцелярию. Он разделял опасения Карла фон Хальта, что если антисемитская пропаганда не будет срочно свернута, то «многие крупные европейские страны могут отказаться от участия в зимних Олимпийских играх», что может впоследствии привести к очередному витку бойкота Берлинских игр. После этого он напомнил Ламмерсу еще раз об обязательствах, которые взяла на себя Германия. Копии этого письма были направлены Йозефу Геббельсу и Рудольфу Гессу.
В дальнейшем Вильгельм Фрик и Карл фон Хальт настаивали на том, чтобы «национальный престиж Германии не в косм случае не должен был пострадать», а потому допускали, что на некоторое время можно было изобразить терпимое отношение к евреям. В данном случае Гитлер решил, что не будет сам заниматься этим вопросом, а поручил решение сложившейся проблемы Рудольфу Гессу как заместителю фюрера по партии, который большую часть времени проводил в Мюнхене. Тот же, в свою очередь, предпочел переложить эту задачу на гауляйтера Вагнера. Чтобы избежать традиционной для Третьего рейха «борьбы компетенций», Гесс «раз и навсегда» распределил сферу ответственности отдельных функционеров: проведение спортивных мероприятий — Карл фон Хальт, работа с германской сборной — Ганс фон Чаммер, мероприятия, проводимые но государственной линии, — Пфундтнер, партийные вопросы — гауляйтер Вагнер. Однако даже это разделение обязанностей не гарантировало отсутствие противоречий. Например, в январе 1936 года Фрик и Гесс пришли к выводу, что «партийные вопросы» Вагнер понимал весьма специфически. Ссылаясь на принятые 15 сентября 1935 года на партийном съезде «Нюрнбергские законы», он продолжал осуществлять политику, направленную на удаление евреев из общественной жизни.