В 1924 году Мюллер женился на Софи Дишнер. Ее отец издавал в Баварии газету правого направления, оппозиционную Гитлеру. 4 января 1927 года родился сын Рейнхард, а 9 сентября 1936 года – дочь Элизабет. У девочки были выраженные монголоидные черты, что вызвало серьезные трения в семье Мюллера. В дальнейшем он с женой разошелся (у него был длительный роман со своим личным секретарем, Барбарой Хельмут). Мюллер и его жена были ревностными католиками, и, даже сделавшись высшим офицером СС, Мюллер отказался покинуть церковь. В NSDAP[1] он вступил очень поздно, и исключительно под давлением карьерных обстоятельств. В действительности Мюллер не был адептом партии в период ее борьбы за власть в Мюнхене в 20-х – начале 30-х годов. Когда Мюллер и несколько его сослуживцев были приняты в СС и начали работать в гестапо, сослуживцы, состоявшие в партии, были шокированы и так никогда и не примирились с этим фактом, чувствуя себя оскорбленными. Взлетом своей карьеры и успешной деятельности разведслужб под его началом Мюллер был обязан собственной напористости и безжалостности. Он не любил себя афишировать, и его фотографии весьма редки. Когда после войны власти США разыскивали Мюллера, они тщательно допросили Эрнста Кальтенбруннера, считавшегося его начальником. Комментарии этого человека, не испытывавшего симпатии к Мюллеру и которого тот, в свою очередь, не только не уважал, но и фактически игнорировал, довольно интересны. Вот цитата из допроса:
«Влияние Мюллера на формирование штата гестапо сказывалось не только в период его основания; позже все должности в отделе IV были заняты людьми, которых он выбрал сам, включая и полицейских представителей на местах… Брак Мюллера был неудачным. У него было двое детей. Один был мальчик 17 лет, призванный на службу перед самым концом войны. Второй ребенок был намного младше. Этот ребенок имел явные монголоидные черты, и считалось, что именно по этой причине Мюллер избегал всякого общения с друзьями и соседями. Из-за неблагоприятной обстановки дома Мюллер проводил почти все время на службе. Круг его общения – сослуживцы: Губер, Пиффрадер, Гейслер, Мейзингер и Готтхальмсейдер… Когда я встретился с ним впервые, я не заметил в нем ничего особенного. Он был невысокого роста, с пронизывающим взглядом темных глаз и не производил впечатление человека открытого и сердечного, но было в его облике нечто привлекательное. При этом он был вежлив („корректен“), но, возможно, чересчур скромен… У Мюллера была замечательная память, и он помнил каждого человека, с которым хотя бы однажды встречался, и все события. Для Гиммлера он был настоящей живой энциклопедией… Он всегда хотел делать все сам и не давал своим сотрудникам возможности действовать самостоятельно; по существу, эту его скверную привычку критиковал даже Гиммлер».