В семье Фритцлей иногда заводились деньги, но назвать вдову Фритцль богатой было нельзя. Пр словам Петера Зетца, дом их был обшарпанной развалюхой, «настоящей лачугой». Он прожил там двадцать восемь лет и был старейшим жильцом, не считая Йозефа. «Когда я был молод, дом сильно отличался от того, каким он выглядит сегодня. Обычно он состоял из четырех квартир, три из которых были двухкомнатные. Только квартира Фритцлей была побольше. Мой брат был ровесником Йозефа; в прошлом году он умер. Он знал Йозефа лучше меня. Не знаю, как Мария и Йозеф жили в эти военные дни, поскольку квартплата была очень низкой из-за бедственного состояния жилья. Мальчик был до умопомрачения привязан к матери. Она была странной женщиной, и жители города избегали ее, распуская слухи о ребенке, рожденном вне брака. У мальчика явно были комплексы, связанные с тем, кто он и какова его репутация. Он знал, о чем болтали досужие языки. Он понимал, что отличается от других детей».
Шестидесятидвухлетний Йозеф Гаттербауэр был соседом Фритцлей в молодости. «Больше всего я запомнил его мать, — говорит он. — Мы всегда знали его, Йозефа, как Зеппа Неннинга. Дом, где они жили, часто так и называли — „дом Неннингов“. Это была их собственность, но они сами занимали несколько комнат, так что под одной крышей всегда жили несколько семей. Госпожа Неннинг проводила почти все время сидя на скамейке перед домом. Иногда она заходила к нам, чтобы передать родителям кое-какие вещи, поскольку они содержали небольшую компанию по перевозке товаров, которая в те поры осуществлялась исключительно лошадьми. Это была маленькая женщина странного вида. Я помню ее как типичную бабушку тех дней. Они с сыном жили на государственное пособие, дополняя его, как я полагаю, платой, которую брали с жильцов. Думается мне, Йозефу стало полегче, когда отцы других ребят один за другим погибли на войне и у людей появились более важные заботы, чем чей-то внебрачный ребенок. Остаться без отца — что же в этом необыкновенного, когда кругом падают бомбы?»
Во время войны Амштеттен не был заурядным городком. Юный Йозеф оказался в эпицентре нацистской тирании, подразумевавшей облавы, избиения и убийства. 22 апреля 1939 года отделение гестапо в Линце донесло своему берлинскому начальству, что политическая оппозиция окружена и повержена. Главная площадь, куда отец водил Йозефа посмотреть на вступление нацистов, была названа в честь Адольфа Гитлера, и городское отделение СС устроило там свою канцелярию, координировавшую охоту на евреев, цыган, гомосексуалистов, политических соперников и других врагов государства в Амштеттене и прилегающих общинах. План состоял в том, чтобы превратить Амштеттен в образцовую национал-социалистическую общину; уже давно весь городок напоминал рекламную нацистскую картинку: с фасада каждой лавки свисали знамена со свастиками, по улицам разгуливали мужчины в ослепительной партийной униформе. Йозефу нравилось это. Однако «порядок, дисциплина, послушание», выражаясь другим языком, означали террор. В школе Йозефа Фритцля, равно как и других мальчиков, учили восхищаться философией силы, которую проповедовали власти страны, и питать отвращение к слабости и жалости.