Несмотря на то, что бабушка Тупака по маминой линии Роза Белл Уильямс хотела остаться в Ламбертоне, её муж Уолтер настоял на том, чтобы они переехали на его родину - Норфолк, штат Вирджиния. Их первым ребёнком была девочка, которую назвали Глория. Второго ребёнка, Эллис Фэй, Роза родила в Ламбертоне, когда ездила навестить туда больных родственников.
Первую половину детства Эллис Уильямс провела в Норфолке. Её отец работал там водителем грузовика, а мама растила дочерей. Отец Уолтера был проповедником и настаивал, чтобы сын встал на путь истинный -в религиозном смысле. Но Уолтер отказался. Тогда пожилой человек выгнал его и всю его семью из дома. Уолтер не отчаялся и попробовал поступить на службу в ВМС, однако его не взяли из-за плоскостопия. В добавление к этому Уолтер, как и все чернокожие американцы с юга, подвергался постоянным унижениям на расовой почве. Возможно, всё это -непонимание семьи, расовые проблемы, несостоявшаяся карьера -и стало причиной того, что он стал бить свою жену. Может быть, он был просто очень рассержен на жизнь. Однако Роза Белл заплатила слишком высокую цену за психические проблемы своего мужа.
С 1910 по 1920 год население Норфолка выросло за счёт приезжих, которые приехали работать на только что открытые заводы, с 67 тысяч до 119 тысяч человек. В 1922 году Норфолк укрепил свои экономические позиции. Были построены терминал и зерновой элеватор стоимостью 5 миллионов долларов, а также фермерский рынок стоимостью 500 тысяч долларов.
К 1940 году в Норфолке уже проживало 144 тысячи человек. Во время Второй мировой войны население увеличилось вновь. Здесь разместились заводы, работающие на военно-промышленный комплекс Америки. Требовалась новая рабочая сила. Открылись также мебельные фабрики, заводы по производству удобрений и других товаров. Однако чёрные жители так и оставались белыми воронами в этом крае.
Расизм и попирание всех прав по-прежнему не давали чёрным спокойно жить. Так, в 1968 году действовавший в Вирджинии закон всё ещё приравнивал меж расовые браки к уголовному преступлению. Дошло до того, что дело о правомерности этого закона рассматривалось в Верховном Суде США и называлось оно «Любовь против штата Вирджиния». И хотя с 1945 года в полиции Вирджинии уже служили чёрные полицейские, расизм всё равно преобладал во всех сферах общественной жизни. В таких тяжёлых социальных условиях росла Эллис Фэй Уильямс. В довершение всего её отец игнорировал семью и постоянно избивал жену.
«Мы все были нищими, - вспоминает Эллис. - В конечном счёте, это и было тем, что нас объединяло. Например, наша соседка мисс Хатти. Эта дама любила нашу маму. Она знала, в какой мы находимся ситуации. Ей нельзя было рассказывать что-либо или о чём-то расспрашивать. Настолько холодна она была. Она ждала, пока мой папа уйдёт из дома, потому что знала: пока он дома, там беспредел. Когда он уходил, мисс Хатти брала мою маму, и они шли в продуктовый магазин. Она брала с собой мою маму, потому что знала: папа вообще не давал ей еды. А мисс Хатти не задавала вопросов, она просто брала маму и вела по магазинам... У моей мамы был календарь: по пятницам папа давал ей деньги, и там она отмечала, сколько она может потратить на неделе».