Рейтлингер отмечал, что Гиммлер никогда не одобрял собраний высших офицеров, на которых они обсуждали бы свои общие проблемы. Они тоже были соперниками в борьбе за его благосклонность, и он старался иметь дело с каждым в отдельности, дабы предотвратить всякую возможность сговора. Подобно Гитлеру, он окружил себя младшими офицерами, адъютантами, которых он мог заменить в любой момент, но которые, благодаря близости к нему, получили власть, значительно превосходящую их положение. Керстен быстро осознал силу влияния людей, подобных полковнику СС (позже генералу) Рудольфу Брандту, главному адъютанту Гиммлера, бывшему писарю, которого нельзя было миновать на пути к рейхсфюреру СС. Шелленберг описывает Брандта как маленького человека самой заурядной наружности, который всеми силами старался и внешностью и поведением походить на Гиммлера. Он обладал феноменальной памятью и начинал работу с семи часов утра, спеша к хозяину с папками и бумагами, чтобы работа уже могла начаться, пока Гиммлер брился. Если приходили плохие новости, Брандт начинал с обращения «Извините», и Гиммлер прекращал бриться. «Он был живым блокнотом Гиммлера… Думаю, он был единственным человеком, которому Гиммлер полностью доверял… Он был глазами и ушами хозяина и часто представлял Гиммлеру дела в манере неотложной важности». И Шелленберг, и Керстен старались поддерживать с ним хорошие отношения[85].
Старшие офицеры Гиммлера были подобны планетам, вращавшимся вокруг гиммлеровского солнца, каждый из них оставался на своей орбите — генерал СС Эрнст Кальтенбруннер, назначенный главой отдела имперской безопасности в 1943 году, генерал СС Мюллер, начальник гестапо, генерал СС Поль, начальник экономического управления СС и инспектор концентрационных лагерей, и генерал-лейтенант Шелленберг, глава внешней разведки, который к этому моменту стал ближайшим политическим советником Гиммлера. Он содержал также свиту специальных советников, таких как Корхер, который наряду со сбором статистических данных составлял секретные отчеты о других лидерах СС. За все это он был побит в августе 1943.
После назначения Кальтенбруннера начальником Управления имперской безопасности 30 января 1943 года, Гиммлер допустил смертельную ошибку. Конечно, это он привез его из Вены, где тот в течение нескольких лет занимал пост начальника полиции СС, поскольку считал, что новым человеком будет легче управлять. Кальтенбруннер, хоть и был глупцом, обладал достаточной сообразительностью, чтобы разделять мнение СС о том, что война уже проиграна, и искать быстрейших путей к получению власти, одним из которых было заключение рабочего альянса с Борманом, когда следующим апрелем тот стал личным секретарем Гитлера. Едва ли Гиммлер мог предвидеть эту опасность лучше, чем опасность, исходящую от его другого главного оппонента; им был Мюллер, начальник гестапо, который, согласно Шелленбергу, тоже поторопился установить хорошие отношения с Борманом. И Мюллер, и Борман считали, что мирные переговоры начнутся скорее в России, чем на Западе. Шелленберг считал и Кальтенбруннера, и Бормана своими врагами, которые только и стараются перехитрить и дискредитировать его, а возможно, и самого Гиммлера. Он описывает Кальтенбруннера как человека «гигантского телосложения, неуклюжего в движениях, настоящего дровосека… его маленькие, пронизывающие насквозь карие глазки были весьма неприятны; они смотрели на тебя неподвижно, как глаза удава, гипнотизирующего жертву». Руки его были небольшими, подобно «рукам старой гориллы»; пальцы пожелтели от постоянного курения, к тому же он сильно пил. Говорил он с заметным австрийским акцентом, так же, как Мюллер говорил с сильным баварским.