Присутствие отца создавало напряженную атмосферу в доме, и родственники и друзья говорят, что маленький мальчик не раз собственными глазами наблюдал избиение матери. Он не мог не почувствовать облегчения, даже счастья, когда отец ушел навсегда; мальчику было тогда четыре года. Больше Йозеф его никогда не видел. Что стало далее с любовником Марии — история умалчивает, но отныне Йозеф превратился в маленького мужчину в доме — пустой сосуд, вскоре наполнившийся неврозами и проблемами, сопутствующими безотцовщине. Впоследствии все эти симптомы проявились в его характере с поразительной силой: повышенная агрессивность, ощущение своей «особенности» и непонятости, жажда скрытности, контроля над событиями, вошедшая в привычку ложь и стремление манипулировать людьми. Уход отца подготовил питательную почву для того, чтобы все эти черты пустили глубокие корни в душе мальчика. И все время мантра порядка, дисциплины и послушания, проповедовавшаяся в детском саду и нашедшая себе отражение в повседневной жизни австрийцев при новой власти, впитывалась его внутренней сутью.
Йозеф ненавидел отца за плохое обращение с ним и с матерью, но осознал он эту эмоцию лишь много позже. Ему еще предстоит вспомнить ночи, которые он провел на своей койке, свернувшись клубком и закрыв голову одеялом, чтобы только не слышать омерзительных, грязных ругательств, с которыми пьяный отец обрушивался на Марию. А наутро он через силу старался угодить отцу, приветствуя его перед завтраком: «Привет, папа!» В некотором смысле, учитывая смекалку мальчика, он ничем не походил на отца. Но в немецком существует поговорка «Der Apfel folk nicht weit vom Stamm» («Яблочко от яблоньки недалеко падает»), иными словами, куда отец, туда и сын. Генетический набор Йозефа не смог помочь ему порвать с наиболее отталкивающими чертами родителя — скабрезными шуточками, пристрастием к пиву, изменами, жгучей необходимостью держать в узде жену и насилием, когда угрозы оказывались недостаточными, чтобы добиться желаемого результата. Черты эти будут пребывать в спячке до куда более позднего периода, когда он причинит столько боли, страха и унижений существам, которых мнимо любил.
Ребенком, в городке с населением, едва достигавшим пятнадцати тысяч человек, Йозеф изначально смотрелся редкостной птицей, поскольку у него не было отца. Позже военные нужды так же лишили большинство семей отцов и мужей, но в последние годы мира положение в семье Фритцлей стало предметом слухов и злобных выпадов. По воскресеньям в церкви он чувствовал, что глаза других мальчиков устремлены на него, взоры уважаемых домохозяек так и буравят его мать, молчаливо обвиняя ее в том, что она не смогла удержать «мужика» в доме. Тем не менее Мария воспитала Йозефа в уважении к плетке и ремню, заставляла слушаться хлопка ладоней. Некоторые соседи, наблюдавшие за детскими годами Йозефа, подтверждают суровый нрав Марии. И все же мальчик видел свою мать сквозь розовые очки. Он описывает ее как «строительницу характера»; она была строга, порой задавала ему трепку за непослушание и запирала его в комнате, чтобы он исправно выполнял домашние задания. Но, по его словам, она же и окружила его любовью, установила между ними связь на таком глубинном уровне, какой и не снился его соученикам.