Джозеф Хансен родился в маленьком городке Абердин, что в Южной Дакоте, в июле 1923 года. Он был младшим ребёнком в семье. Его отец Генри Хансен происходил из семьи норвежских эмигрантов. Генри держал обувной магазин, однако этим его интересы не ограничивались. По воскресным дням он был солистом церковного хора в местной методистской церкви, играл на множестве музыкальных инструментов и хорошо рисовал. Его остроумная, богатая шутками и каламбурами речь, яркая мимика и способность подражать иностранным акцентам, нередко вызывали у собеседников резонные вопросы, почему он так и не попробовал себя в качестве комедийного актёра. Его супруга Альма великолепно играла на фортепиано и учила детей — Луизу, Боба и Джозефа — петь старинные ирландские песни. Писатель вспоминает, что очень быстро, даже с некоторой неожиданностью, научился читать — скорее не благодаря, а вопреки методике Джона Дьюи, согласно которой детей обучали чтению не на слух, а показывая картинки с надписями, которые они должны были повторять (в те годы Южная Дакота была одним из первых штатов, охваченных программой «Ускоренное Образование»).
В 1932 году на благополучную семью Хансенов обрушивается Великая Депрессия. Родители продают дом, обувной магазин и машину, и семья разъезжается. Луиза едет на заработки в Калифорнию, Боб мыкается по захолустным колледжам, переходя из одного в другой и при этом ночуя то в сараях, то на сеновалах. Несмотря на неустроенность, Боб получает призы на певческих конкурсах и рассчитывает на стипендию по линии музыкального образования, однако его успеваемость по другим предметам не столь хороша — слишком уж много времени у него занимают музыка, игра на сцене и спорт. Отец семейства отправляется в Миннеаполис.
Альма Хансен вместе с маленьким Джозефом на какое-то время задерживаются в Абердине, то и дело переезжая из одной съёмной комнатушки в другую. В одной из таких комнатушек юный Хансен впервые пробует перо — он пишет небольшое эссе под названием «Советы подростка старшему поколению» («А Boy’s Philosophy to the Older Folks»), где, выражая собственное восприятие того, что происходило тогда в стране, пытается высказать некие идеи о том, как можно было бы вернуть жизнь в нормальное русло.
Обеспечивать себя и сына Альме Хансен становится всё труднее — они еле-еле сводят концы с концами, выплачивая ренту, и постепенно им закрывают кредит во всех окрестных лавках. Мать мечтает о том, чтобы покинуть город в поисках лучшей жизни, и через какое-то время подворачивается удача. Некая элегантная незнакомка соглашается «подбросить» их в своём открытом автомобиле до Миннеаполиса. Воссоединившись, семья поселяется в тесной квартире, аренда которой позволяет Генри, Альме, Бобу и Джозефу питаться только овсянкой. Генри отапливает углём церковь в центре города, а Боб подряжается помощником аукциониста на распродажах имущества граждан, пострадавших, подобно Хансенам, от Депрессии. В Миннеаполисе Джозеф прочёл «Белый Клык» и «Приключения Тома Сойера и Гекльберри Финна», которые стали его любимыми произведениями того возраста и, по его мнению, в какой-то степени повлияли на дальнейшее становление как писателя.