Если же говорить о реальной деятельности Гиммлера, то сразу же после «ночи длинных ножей» он несколько месяцев кряду пытался добиться максимальной свободы от Геринга, который продолжал оставаться формальным шефом прусского гестапо. В данном случае цели Гиммлера и Геринга расходились. Если Гиммлер пытался превратить гестапо в эффективный инструмент террора, который бы не имел ничего общего с бюрократической волокитой, то Геринг пытался найти способ, как ему было бы проще контролировать Гиммлера. Еще в июне Геринг потребовал от Гиммлера ежемесячно предоставлять статс-секретарю Паулю Кернеру список подозреваемых, которые были задержаны на срок более семи дней. Гиммлер всячески пытался обходить стороной этот приказ. Он предоставил Герингу список заключенных один-единственный раз, и то сделано это было только потому, что 7 августа 1934 года Гитлер решил объявить амнистию. Впоследствии никакой отчетности не было. Недовольный этим Геринг в октябре 1934 года решил еще раз «побеспокоить» Гиммлера. Он издал циркуляр для гестапо, в котором детально перечислял, какие права он оставлял за собой в качестве шефа тайной государственной полиции. К таковым относились: издание общих директив, надзор за внутренним рабочим распорядком, ознакомление с личными делами старших сотрудников и «служебный и дисциплинарный надзор за деятельностью инспектора гестапо». Последнему пункту Геринг придавал особое значение. Он хотел использовать традиционные чиновничьи структуры для контроля над Гиммлером. Кроме этого он отказал Гиммлеру в получении полного контроля над концентрационными лагерями Пруссии.
Геринг прекрасно понимал, что если бы он согласился на это, то государство не смогло бы более хоть как-то влиять на концентрационные лагеря. Однако на практике оказалось, что все распоряжения Геринга оставались лишь на бумаге. Ни одному из прусских чиновников не удалось получить реальную возможность «надзора» за деятельностью гестапо. Видя бессмысленность своих попыток, 20 ноября Геринг передал Гиммлеру пост руководителя гестапо. С этого момента Гиммлер являлся одновременно и инспектором, и начальником тайной государственной полиции. Гиммлеру удалось одержать победу в очередном раунде борьбы за власть.
Усиление власти Гиммлера сопровождалось несколькими организационными процессами, которые шли внутри СС. В первую очередь надо обратить внимание на создание тандема СД — гестапо. Если в 1933–1934 годах Гиммлер использовал СД в качестве инструмента, который помогал ему в борьбе за новые сферы влияния, то после «ночи длинных ножей» эсэсовская служба безопасности должна была выполнять функции, подобающие гестапо. Чтобы избежать взаимной конкуренции, в конце 1935 года Гиммлер выпустил «общие служебные инструкции», которые предназначались как для гестапо, так и для СД. В них отдельным пунктом была прописана необходимость тесного сотрудничества этих двух ведомств.