30 июня 1934 года Эрнст Рём и большинство руководителей СА были арестованы в Бад Висзее. Аналогичные аресты происходили в Берлине и в Силезии. После этого началась расправа с предводителями штурмовиков. Всего же во время «ночи длинных ножей» было казнено около 200 человек. Во время этой волны террора были уничтожены также старые противники Гитлера — бывший рейхсканцлер фон Шлейхер, Густав Риттер Карр, Грегор Штрассер. Во время указанных событий Генрих Гиммлер, как рейхсфюрер СС, формально должен был подчиняться Эрнсту Рёму. Однако он предпочел выбрать сторону «победителей». Он продолжал лавировать, не занимая постоянной позиции в конфликте между партийной организацией НСДАП, рейхсвером и консервативными политиками. Он не позволял себе открыто вмешиваться в это противостояние. В самой «ночи длинных ножей» Генрих Гиммлер фактически не принимал участия. Более показательным является тот факт, что его подчиненные расправились с Эрнстом Рёмом и Грегором Штрассером, людьми, которым Гиммлер был обязан своей политической карьерой. В НСДАП знали о том, что рейхсфюрер СС сохранял с ними связь даже в 1934 году. Но в итоге это молчаливое согласие стало самым убедительным доказательством личной преданности Гитлеру. Не стоило сбрасывать со счетов и расчетливое планирование. После устранения Эрнста Рёма Генрих Гиммлер становился самостоятельной фигурой, а СС могли выйти из подчинения СА. Что, собственно, и произошло в июле 1934 года. Тогда СД провозглашалось единственной разведывательной службой НСДАП, а СС самостоятельной структурой, полностью независимой от С А.
И это было отнюдь не единственное последствие «ночи длинных ножей». На базе «Лейбштандарта» и «политических батальонов» летом 1934 года стали возникать «части оперативного реагирования СС». Кроме этого Теодор Эйке был назначен инспектором всех концентрационных лагерей Германии и командующим всеми караульно-охранными подразделениями, из которых возникла вторая составная часть СС — соединения «Мертвая голова». Сам же Гиммлер, находясь в Берлине, смог начать формирование единой для всей Германии структуры гестапо. Однако он еще не был хозяином положения. Фрик продолжал настаивать на том, что самостоятельный репрессивный аппарат, созданный Гиммлером, был всего лишь «временным явлением», а потому со временем он должен был подчиниться государству. Этому пытался открыто противостоять Герман Геринг. Гиммлер же был более осторожным и пытался не вмешиваться в назревавший конфликт. Это был очень удачный тактический ход. Он предоставил Герингу возможность отстоять его позиции. В итоге гестапо осталось самостоятельной структурой, над которой сохранялся некий контроль со стороны Имперского министерства внутренних дел. Гиммлер провел реорганизацию лишь в 1936 году, когда был назначен главой немецкой полиции.