В 1934 года создал «Кружок друзей рейхсфюрера СС», стремясь следить за финансовой и промышленной ситуацией в Германии и за рубежом. В том же году выступил с идеей создания системы концентрационных лагерей, которыми руководил подчиненный Гиммлеру инспектор СС Т. Эйке. Цель последних заключалась в изоляции и уничтожении врагов Третьего рейха.
С середины 1930-х годов создавал постоянные военизированные отряды СС, которые летом 1940 года были преобразованы в войска СС, и к 1945 году их численность достигла почти 40 дивизий. С июня 1936 года Гиммлер занял пост рейхсфюрера СС и статс-секретаря германской полиции, сумев отодвинуть на второй план министра внутренних дел В. Фрика; в результате он сконцентрировал в своих руках рычаги управления всеми силовыми, за исключением вермахта, ведомствами Германии. Тогда же, после объединения полиции безопасности, находившейся в подчинении Министерства внутренних дел, и СД, находившейся в подчинении руководителей СС, было сформировано Главное управление полиции безопасности, реорганизованное в 1939 году в Главное управление имперской безопасности (РСХА) и включавшее в себя наряду с СД, еще гестапо, криминальную полицию и службу внешней разведки.
В октябре 1939 года назначен «имперским комиссаром по консолидации германской нации», ему было поручено проведение глобальных мероприятий, направленных на германизацию Восточной Европы (славянских государств), в ходе которых предполагалось осуществить выселение десятков миллионов славян и евреев с целью освобождения территорий, предназначенных для заселения их этническими немцами. В феврале 1942 года сформировал в составе СС Главное административно-хозяйственное управление (ВФХА); в его ведении находилось большое количество промышленных предприятий и все концентрационные лагеря: их узники широко использовались для принудительных работ в промышленности или же передавались в распоряжение крупнейшим немецким фирмам («ИГ Фарбениндастри», «Фридрих Крупп» и другие). Руководил ВФХА один из ближайших помощников Гиммлера - О. Поль.
После гибели Гейдриха Гиммлер в мае 1942 года лично возглавил РСХА, назначив своим заместителем Э. Кальтенбруннера. Даже после занятия последним этого поста в январе 1943 года, сохранил за собой непосредственный контроль за деятельностью всех специальных служб, прежде всего гестапо и его начальника - Г. Мюллера. В августе 1943 года, оставаясь на всех прежних должностях, возглавил имперское министерство внутренних дел.
Начиная со второй половины 1943 года Гиммлер, через посредство ближайших сотрудников, стремился установить контакты с представителями американской разведки, рассчитывая заключить сепаратный мир при сохранении за Гиммлером политической власти в Германии и продолжении военных действий на Восточном фронте. В феврале 1944 года Гитлер подписал указ о подчинении Гиммлеру всех разведывательных структур Германии, в том числе военной разведки и контрразведки вермахта - абвера, а также разведструктур Военно-морского флота и Люфтваффе.