Тем не менее не все немцы одинаково восторженно восприняли это решение. Многих смущало, что готовиться к Олимпиаде надо было в условиях кризиса, который традиционно сопровождался безработицей, нуждой и политическими потрясениями. Немалое количество жителей Германии полагали, что подготовка к проведению Олимпиады в подобных условиях была ничем не оправданной расточительностью. Вновь стали заявлять свои протесты представители «Немецкого турнершафта». Однако Карлу Диму удалось составить олимпийскую программу, финансирование которой не должно было нанести ущерба немецкому спорту. Но даже это не могло снять все вопросы; сопротивление со стороны некоторых спортивных объединений можно было ощущать годы спустя. Под сомнение даже ставилась необходимость участия германской сборной в Олимпийских играх 1932 года, которые проходили в Лос-Анджелесе. Но, несмотря на многочисленные протесты, у Карла Дима не было никаких колебаний. Если Берлин хотел принять Олимпиаду в 1936 году, то германская сборная непременно должна была быть в Америке в 1932 году.
И вновь Карлу Диму пришлось разрабатывать план по сбору средств. Опять проводились многочисленные рекламные и пропагандистские мероприятия, но кризис давал о себе знать. Диму удалось договориться лишь о софинансировании. Одну треть расходов, связанных с поездкой за океан, должны были взять на себя спортивные объединения. Речь шла приблизительно о 450 тысяч марок. Еще столько же были готовы выделить немецкие промышленники и представители германских финансовых кругов. И такая же сумма должна была быть выделена правительством Веймарской республики. Между тем в Германии усиливалась критика предстоящих расходов на Олимпиаду. Ее нельзя было не учитывать, а потому Карл Дим принял нелегкое решение: он существенно сократил германскую сборную, которая направлялась в Лейк-Плэсид (США, штат Нью-Йорк) на зимние игры 1932 года. Сборная была ограничена хоккейной командой, несколькими фигуристами и командой бобслеистов. В итоге не было ничего удивительного в том, что германская сборная в общекомандном зачете заняла только 9-е место, завоевав лишь две бронзовые медали. Сэкономленные деньги спонсоров и государства было решено направить на летнюю Олимпиаду. В Лос-Анджелес германская сборная направилась уже в полном составе. Несмотря на то что Карл Дим был вновь назначен «шефом миссию), успех 1928 года не удалось повторить. Германия опять заняла девятое место, завоевав всего лишь три золотые, двенадцать серебряных и пять бронзовых медалей. Первыми традиционно были американские атлеты. А второе и третье места заняли сборные Италии и Франции соответственно. Немцы уступили даже венграм и японцам, которые никогда до этого не считались особо сильными спортсменами. Как и стоило предположить, после столь неутешительного результата Немецкий Олимпийский комитет подвергся жесточайшей критике в германской прессе. Некоторые из газет требовали немедленной отставки Карла Дима и Теодора Левальда, по те никак не соглашались пойти на это, предпочитая обороняться от нападок. Карлу Диму вновь пришлось прибегнуть к «национальной» риторике, чтобы объяснить необходимость участия немецких спортсменов в международных соревнованиях. В привычно резких формулировках он заявил: «Как еще можно вдолбить в голову немецким патриотам, что германский флаг надо водружать за пределами нашей страны, а мы были только лишь передовым отрядом?»