Спустя три голодных и холодных зимы в Миннеаполисе, Хансены кое-как наскребли деньги на древний, но пока ещё полупригодный автомобиль, некогда бывший в пользовании мормонов. Родители планировали вернуться на юг — в Калифорнию. Даже если бы семья продолжала голодать, никто бы, по крайней мере, уже не замёрз. Однако, поразмыслив, Генри и Альма пока отправились в Миннесоту, в немецкую диаспору в городке Оватонна, где жила старшая сестра Альмы Эдита с сыном Галеном. Тот страдал плохим зрением, но при этом превосходно разбирался в технике. Как только Гален закончил ремонтировать «старого мормона», а было это в июле 1936 года, Хансены, нагрузив автомобиль чемоданами и тюками, отправились в Калифорнию. Луиза в это время работала секретаршей в банке. Она вышла замуж за литейщика Джо Хаббарда. Они жили в загородном доме в Альтадене. Джо владел десятью акрами, где размещались фруктовый сад и пасека. Однако какими бы радушными и гостеприимными ни были Джо и Луиза, въезд троих взрослых родственников (Бобу на тот момент исполнилось двадцать два) неизбежно привёл к тесноте. Когда Джо поставил перед Бобом условие устроиться на работу в литейный цех, Боб съехал. С наступлением осени терраса перестала быть пригодной для жилья, и Генри, Альма и Джозеф переехали в съёмный коттедж в Пасадене. Отец получил место клерка в обувном магазине, а молодой Хансен подрабатывал переводами Псалмов Давида на современный английский. Безысходность и унижение были тяжким испытанием в большей степени для родителей — Генри и Альмы, нежели для самого Хансена. Тот, уже будучи ребёнком, привык к переездам с места на место, к проживанию в тесных комнатах чужих домов. Этому были посвящены его первые стихи и короткие рассказы.
Джозеф Хансен становится хористом в епископальной церкви. Там он научился петь псалмы на старинном английском по молитвеннику старого образца. Директором хора был Рэймонд Хилл, одарённый, остроумный и обаятельный человек Он стал первым преподавателем, который заинтересовался Хансеном как способным учеником. Хансен часто бывал в доме Хиллов, где приобщился к хорошей музыке. Знакомясь с богатой библиотекой Хилла, Хансен впервые узнал что-то о живописи, скульптуре и архитектуре. Хилл определил Джозефа в школу для одарённых детей, где тот, не имея за плечами необходимой подготовки, продержался всего один семестр. Вскоре Хилл уехал в Рим изучать григорианское церковное пение, и директором хора стал некий Джон Генри Лайонс, о котором писатель упоминает как о «человеке гигантских размеров, лицо которого всегда было зелёным, как и его ботинки». Хор насчитывал более трёхсот человек, однако сердцевину его составляли тридцать мальчиков, которых нередко вывозили на гастрольные выступления в окрестные города. Им было запрещено петь по дороге и где-либо ещё, кроме как во время выступления, однако по дороге домой они всегда имели возможность спеть от души.