Дункль описывает Фритцля как выходца из бедной семьи. «Бедной в двух отношениях, — вспоминает он. — Во-первых, их финансовая ситуация оставалась достаточно напряженной, а во-вторых, единственный сын в семье, он не мог наладить контактов с обществом. Фритцль всегда был одинок и во многом напоминал волка- одиночку. Он играл в ковбоев и индейцев, копов и грабителей с нами в лесу, но, будучи на два года старше, был более развит физически. Однако лидером не стал; ему доставляло большую радость оставаться на заднем плане».
Мальчишки часто гоняли мяч но улицам — футбол остался страстью Фритцля на всю жизнь. Но игроком он был неважным; «левша Фритцль» делался тем вежливее, чем больше оскорблений сыпалось на него. Еще его называли «браунер» — из-за коричневых рубашек, которые нацисты носили в первые дни, а также потому, что он продолжал выказывать свое юношеское восхищение их политикой. Подростком Фритцль стал проявлять жадный интерес к своей внешности и к противоположному полу; две черты характера, определившие его поведение на всю оставшуюся жизнь. Дункль вспоминает; «В последних двух классах возрастное различие стало более ощутимым. Фритцль тщательно следил за своей внешностью и всегда был чрезвычайно ухожен».
В дальнейшем Фритцль оказался и одним из самых умных. Он закончил школу с хорошим аттестатом и четыре года проучился на инженера-электронщика — очень важная специальность в стране, чьи заводы и рабочая сила понесли такой ущерб. Во всех отношениях он являлся добросовестным работником, человеком, тщательно подмечавшим всякую деталь, и всегда получал удовлетворительные, а иногда и превышавшие средний уровень оценки за свою практическую и академическую работу. На дорогу в колледж у него уходило два часа. Он отказывался от выпивки с другими учащимися после занятий, торопясь поскорее вернуться к любимой маме.
Тем не менее по воскресным дням Фритцль сбрасывал с себя обычную угрюмость, становился более расслабленным, отвечал на шутки и даже сам шутил за кружкой пива, заразительно смеясь, когда присоединялся к дружеской компании. По уик-эндам он наслаждался оживленной общественной жизнью, ходил на танцы в Амштеттен или Линц и позже хвастал, что завел «нескольких подружек». Девушки нравились ему, а он — им. Соперничая в прическе со звездами тогдашнего американского кино, юноша покупал на черном рынке бриолин и гладко зачесывал волосы. Но вечерами всегда возвращался, чтобы позаботиться о матери.
Ко времени окончания колледжа ему исполнился двадцать один год, он готовился подыскать первую работу, и характер его уже вполне сложился. На жизненном пути перед Йозефом Фритцлем возникли развилки, и приходилось решать, какую дорогу выбрать. К сожалению, сочетание безотцовщины, болезненной привязанности к матери, неотвязное стремление утвердить свой авторитет определили его чудовищную судьбу.