Служил в Добровольческом корпусе, откуда был отчислен по обвинению в совершении уголовного преступления, и состоял членом ряда националистических объединений и союзов. В августе 1922 года окончил сельскохозяйственный факультет Мюнхенского политехнического института, получил специальность экономиста-аграрника, некоторое время работал на заводе искусственных удобрений, расположенном в одном из пригородов Мюнхена. В том же году вступил в СА, участвовал в «Пивном путче» 1923 года, после его разгрома некоторое время находился на нелегальном положении. С 1924 года ближайший соратник Г. Штрассера, а именно сотрудник его штаба и личный секретарь, и владелец хутора в Вальдтрудеринге близ Мюнхена, где он занимался опытным сельским хозяйством. Однако разразившийся мировой экономический кризис привел дело Гиммлера в полный упадок. Участвовал в избирательной кампании 1924 года в Нижней Баварии: выборы закончились большим успехом последователей Штрассера: в рейхстаг прошли тридцать два депутата-нациста.
В марте 1925 года друг Гиммлера Х. Вессель, познакомил его с А. Гитлером (которого тот не знал, несмотря на участие в «Пивном путче»). В августе 1925 года Гиммлер вступил в воссозданную НСДАП и вскоре был назначен заместителем гауляйтера Нижней Баварии. С апреля 1927 года член СС и заместитель рейхсфюрера СС Э. Хайдена. С января 1929 года руководитель охранных отрядов в составе СА: всего 280 человек, к июню 1932 года число бойцов достигло 30 тысяч человек, а в январе 1933-го 50 тысяч.
В феврале 1931 года, возглавляя охранные отряды, подавил мятеж В. Штеннеса, за что Гитлер разрешил СС использовать девиз: «Твоя честь - верность». В августе 1932 года создал из наиболее верных сотрудников службу безопасности (СД), осуществлявшую контроль за настроениями внутри германского общества и нацистской партии. Во главе СД был поставлен Р. Гейдрих, которому Гиммлер полностью доверял, считая его одним из самых близких лиц в своем ведомстве. В то же время Гиммлер укреплял позиции СС, считая, что именно она должна стать цементирующей и карающей силой Третьего рейха, стоящей на службе фюрера. Позиция его не устраивала руководителей СА, не желавших уступать ему свои права и полномочия. Противостояние СС и СА усиливалось и в августе 1930 года вылилось в открытые столкновения, обернувшиеся кровопролитными стычками.
В марте 1933 года Гиммлер был назначен начальником полиции Мюнхена; в апреле 1934 года - шефом тайной государственной полиции Пруссии (гестапо), которую превратил в мощный карательный аппарат, - постепенно в его подчинение перешла полиция всех земель Германии. Гиммлер выступил одним из главных организаторов «Ночи длинных ножей» 1934 года, заявив на совещании командиров округов СС, что СА готовилась совершить государственный переворот. Благодаря своей активности ему удалось убедить Гитлера в том, что СС необходимо придать статус самостоятельной организации в системе НСДАП, подчиненной Верховному руководителю СА, которым являлся сам фюрер. Гиммлер получил ранг рейхсляйтера и превратился в одну из самых влиятельных фигур руководства НСДАП.