Консервативная, монархическая и во многом католическая семья Гиммлеров, которая придерживалась традиционалистских установок, являла собой полную противоположность городской среде, которая в начале XX века превратила Мюнхен в один из центров современного искусства и того, что сейчас принято именовать «толерантностью». В 1902 году Гиммлеры некоторое время живут в Пассау, где Гебхард Гиммлер получил место в гуманитарной гимназии. Однако в феврале 1903 года его средний сын, Генрих, серьезно заболел. У него было тяжелое воспаление легких, а потому мать с детьми на несколько месяцев должна была перебраться в Вольфэгг, где был целебный воздух. В то время имелось подозрение, что маленький Генрих мог быть болен туберкулезом. На рубеже веков это было одной из причин достаточно высокой (по сравнению с нынешним временем) детской смертности. Когда Генрих пошел на поправку, то дети и их мать вернулись обратно в Пассау. Впрочем, этот эпизод на всю жизнь заложил в душу родителей страх перед возможной кончиной детей. В этом отношении больше всего опасений вызывал Генрих, который никогда не отличался крепким сложением и хорошим здоровьем.
В 1904 году семейство Гиммлеров вновь перебралось в Мюнхен, где Гебхарду Гиммлеру предложили место преподавателя в гимназии Людвига. На этот раз Гиммлеры решили снимать квартиру в непосредственной близости от университета, в доме № 86 по Амалиенштрассе. В это время дети постоянно болели, а Анна серьезно волновалось за то, как протекала ее очередная беременность. Несмотря на все опасения, в 1905 году на свет появился третий сын — Эрнст. Генрих быстро ощутил на себе, что вся родительская любовь была сразу же отдана младшему брату. Генрих оказался в сложном положении среднего сына, которого, с одной стороны, обходил в успехах пошедший в школу Гебхард, а с другой стороны, находился забравший всю родительскую нежность совсем маленький Эрнст.
В 1906 году Генриха направляют в школу. Несмотря на то что он должен был быть зачислен в закрепленную за кварталом его проживания школу «Амалиен», он оказался в монастырском учебном заведении, которое было расположено в самом центре Мюнхена на Зальфатор-плац. Его пребывание в этой школе не было связано с какими-то радостными воспоминаниями. Подобно старшему брату, Генрих очень часто болел. Почти половину учебного года он провел дома, где с ним занималась домашняя учительница. Он смог справиться с учебным материалом, но вопреки ожиданиям родителей (в первую очередь отца), Генрих не стал лучшим учеником в классе. Он учился хорошо, но все-таки не настолько блестяще, как Гебхард-младший. Кроме этого в монастырской школе Генрих слыл нелюдимым ребенком. Ситуация несколько изменилась, когда в 1908 году его перевели в школу «Амалиен», здесь он все-таки смог сблизиться с одноклассниками и даже завел себе друзей.