Чтобы подчеркнуть потребность в подчинении политической полиции одному лицу, Гейдрих воспользовался докладом одного из своих агентов о подготовке коммунистического заговора с целью убийства Геринга. Гестапо во главе с Герингом ничего не было известно о заговоре. Аресты подозреваемых были произведены до того, как о происшествии узнали Геринг или Гитлер, и Гиммлер использовал этот заговор, чтобы надавить на фюрера с целью объединения всех сил немецкой полиции под контролем СС. После некоторого колебания Гитлер дал положительный ответ, и с согласия Геринга прусское Министерство внутренних дел было объединено с Министерством внутренних дел рейха, а политическая полиция, включая гестапо, перешла в распоряжение Гиммлера в качестве нового руководителя сил национальной секретной полиции. Чтобы смягчить передачу власти, Герингу была оставлена номинальная должность премьер-министра Пруссии, но 10 апреля на собрании гестапо он в присутствии Гиммлера и Гейдриха обратился к аудитории и объяснил, что в дальнейшем их работой будет руководить Гиммлер как его представитель. Он приказал поддерживать Гиммлера в борьбе с врагами государства, а Гиммлер в свою очередь с раболепным восторгом торжественно заявил о своей преданности и признательности. «Я навсегда останусь преданным вам. Вам никогда не придется опасаться меня», — заявил он. 20 апреля 1934 года гестапо формально перешло во владение Гиммлера и его заместителя Гейдриха. Звенья в служебной цепочке сомкнулись.
В период постепенного увеличения сферы власти и влияния Гиммлер понял, что ему больше не выгодно, да и не пристало оставаться фермером. Маленькое хозяйство в Вальдтрудеринге было продано, и он перевез свою семью, включавшую теперь помимо жены и пятилетней дочери Гудрун приемного мальчика по имени Герхард в поместье Линденфихт в Гмюнде, расположенное на прекрасном озере Тегернзе, в 25 милях от Мюнхена. Когда Гиммлер возглавил гестапо в апреле 1934 года, он перенес свою официальную резиденцию в Берлин и поселился на вилле в Далеме, фешенебельном предместье, где жил также Риббентроп. Его штаб-квартира в Берлине находилась на Принц Альбертштрассе, где Геринг основал гестапо; штаб Гейдриха находился неподалеку на Вильгельмштрассе.
Семейная жизнь Гиммлера не была особенно счастливой. Он не испытывал сильных чувств к женщине, на которой женился; он был страстно предан своей работе в Берлине, что привело к постепенному отчуждению и раздельному жительству супругов, хотя формально они не разводились. Марга жила в Гмюнде, который до конца жизни Гиммлера оставался его надежным буржуазным домом. Частые письма Марги, вовсе не сентиментальные, как это было вначале, полны болтовни о домашних делах: о погоде, одежде мужа, о потерях и урожае в саду и огороде, а также жалоб на редкие визиты мужа: «Мы с нетерпением ждем твоего приезда… Не привози с собой так много документов для работы. Мы тоже хотим немного твоего внимания». В моменты его отсутствия Марга в письмах часто напоминала Гиммлеру о деньгах на хозяйство. Марга несомненно была хорошей и бережливой женой, экономившей каждую монету из тех денег, что давал ей муж, но его долгое отсутствие ожесточало ее. Ее социальный статус не вырос вместе с его возвышением, так как она не могла поехать в город и разделить положение Гиммлера. В октябре 1931 года она наивно пишет о хороших новостях для нацистов, добавляя: «Как бы мне хотелось присутствовать при всех этих великих событиях». Но Гиммлер упорно держит ее в тени. Тем не менее Марга очень гордилась тем, что она жена господина рейхсфюрера, и заключала с местными торговцами выгодные сделки. Они же больше предпочитали иметь дело с Гиммлером, который во время своих редких приездов казался им гораздо более гуманным и менее претенциозным. Он любил свою дочь Гудрун и приезжал в Гмюнд скорее для того, чтобы увидеться с ней, чем с женой