После провала Июльского заговора 1944 года Гиммлер назначен главнокомандующим резервной армией и начальником вооружений сухопутных войск вместо генерала Ф. Фромма, обвиненного в принадлежности к движению Сопротивления. В кратчайшие сроки осуществил «чистку» армейских кругов - в первую очередь высшего офицерского состава, - заменив их преданными офицерами СС. Тогда же в Германии была объявлена всеобщая мобилизация населения и под руководством Гиммлера началось формирование так называемых «народно-гренадерских дивизий» - отрядов народного ополчения. В распоряжение рейхсфюрера СС переданы ранее находившиеся в оперативном подчинении армейского командования части войск СС. В декабре 1944 года назначен командующим группой армий «Верхний Рейн» (с января 1945 года - группа армий «Висла»).
Непосредственно руководил операцией «Северный ветер», главная цель которой - выбить из района Эльзас войска противника и закрепиться на завоеванных позициях.
Бои шли с переменным успехом, германское и англо-американское руководства вводили в действие все новые и новые части: пехоту, танковые части. Частям вермахта даже удалось форсировать Рейн, но удержать плацдарм они так и не смогли: противник сметал немецких солдат ковровыми бомбардировками.
В конце января 1945 года Гиммлер был срочно переброшен на Восточный фронт, где началось наступление советских войск. Группа армий «Висла» потерпела серьезное поражение, попав на Одере в крайне тяжелое положение. В конце марта согласно распоряжению Гитлера Гиммлер сдал командование генерал-полковнику Г. Хейнрици.
Обидевшись на фюрера, он решил вернуться к идее заключения сепаратного мира. В. Шелленберг с согласия Гиммлера через находившегося в Италии обергруппенфюрера СС К. Вольфа активизировал ход переговоров с американской разведкой. Одновременно переговоры о перемирии велись и при посредстве шведского дипломата Ф. Бернадота. Однако известия о переговорах дошли до одного из противников Гиммлера и претендента на первые позиции в германском руководстве М. Бормана, который предпринял попытку их сорвать, арестовав участников немецкой стороны.
В апреле 1945 года Гиммлер принял решение, используя все имеющиеся в его распоряжении вооруженные части и подразделения СС, совершить государственный переворот и взять всю власть в свои руки, сместив со всех постов Гитлера и его приближенных. Тогда же он - опять же через Вольфа - официально обратился к американскому командованию с предложением о начале переговоров, предоставив им в качестве залога часть попавших в его руки произведений искусств, изъятых в оккупированных странах, но союзное командование отказалось вести переговоры с главой СС.