Обратившись к Эйвери Брэндеджу, бельгийский граф смог с предельной точностью разыграть собственную «дипломатическую» партию. Уже 18 ноября 1933 года фешенебельный отель «Уильям Пенн», находившийся в центре Питтсбурга, заполнили делегаты, которые съехались на ежегодное собрание Любительского спортивного союза. Вопрос об отношении к Берлину рассматривался одновременно с проблемой применения на международных соревнованиях метрической системы. По «немецкому вопросу» мнения присутствовавших разделились. Одни придерживались точки зрения, что спортивная организация не должна была вмешиваться во внутренние дела чужой страны. Другие полагали, что США не должны были принимать участия в Олимпиаде, на которую не допускались еврейские спортсмены. Эйвери Брэндедж поддерживал вторую позицию.
Он критиковал Германию не за то, что в ней предпринимались меры по преследованию евреев, а потому, что политика не так давно пришедших к власти национал-социалистов была во многом направлена против олимпийского движения. Обсуждение этого вопроса затянулось не на один день. Собрание союза началось в субботу, а закончилось после некоторых перерывов только в понедельник утром. Любительский спортивный союз США принял решение, что его члены будут бойкотировать Берлинские игры, и такому решению призывали последовать Американский олимпийский комитет, заседание которого должно было произойти в Вашингтоне во вторник. Подобное решение было сформулировано Густавом Кирби, в прошлом президентом Американского олимпийского комитета. Против принятия такой резолюции проголосовали только три человека. Один из них был американец немецкого происхождения Дитрих Вортман, являвшийся предводителем Германо-американского спортивного клуба Нью-Йорка. На Олимпиаде 1904 года, проходившей в Сент-Луисе, он уже представлял американскую сборную. На тех играх он смог завоевать бронзовую медаль в качестве борца, выступавшего во втором полусреднем весе. Во время обсуждения вопроса о возможном бойкотировании Берлинских игр Дитрих Вортман занял жесткую позицию, полагая, что принятие подобных решений относилось исключительно к компетенции Международного олимпийского комитета, а потому «общественная организация даже права не имела поднимать этот вопрос». Кроме этого Вортман напомнил всем собравшимся, что Любительский спортивный союз США запретил темнокожим атлетам принимать участие во многих соревнованиях. По большому счету потом Германия не раз прибегала к этому аргументу. Однако доводы Вортмана не были услышаны. Более того, его обвинили в симпатиях к национал-социалистической Германии. Однако вскоре он обрел поддержку там, где меньше всего ожидал ее найти, — его союзником стал Эйвери Брэндедж.