Отец Иуды оказался не самым удачливым бизнесменом: нужда по-прежнему следовала за ним по пятам. Через несколько лет угроза очередного разорения заставила семейство перебраться в Соединенные Штаты. Здесь они несколько раз переезжали с места на место, пока не осели в 1821 году в Чарльстоне, тогдашней столице штата Южная Каролина. Отсюда и начал свое восхождение один из самых ярких и загадочных американских политиков XIX столетия.
Чарльстон был первым городом в Новом Свете, который предоставил право голоса нехристианам. В колониальные времена Южная Каролина управлялась согласно хартии 1669 года, составленной великим английским философом Джоном Локком. Хартия гарантировала свободу совести всем поселенцам, среди которых были отдельно упомянуты «язычники, евреи и сектанты». Во время Войны за независимость США большинство иудеев-южан сражалось на стороне генерала Вашингтона, многие были офицерами его армии. Со временем в Чарльстоне образовалась самая крупная еврейская община на юге страны.
Впоследствии, в кругу вашингтонских друзей, Иуда Бенджамин с радостью вспоминал свои детские годы в Чарльстоне. Семью по-прежнему кормил небольшой магазинчик в районе порта. Запах сушеных тропических фруктов, специй и кокосового масла в лавке, шум порта с боцманскими свистками и многоязыкой матросской речью, неповторимое дыхание южного моря составляли аромат детских воспоминаний сенатора. Вероятно, отсюда берет начало глубокая привязанность к старому американскому Югу, на долгие годы определившая его жизненный выбор.
Подлинной главой семьи была Ребекка. Иуда никогда не упоминал отца, но бережно относился к матери. Дальние родственники вспоминали ее как женщину с сильным характером, которая, невзирая на бедность, умела высоко держать голову. Однажды, как пишет первый биограф Бенджамина П. Батлер, более обеспеченная сестра Ребекки прислала ей из Вест-Индии сундук с дорогим постельным бельем. Нераскрытый сундук был тотчас отослан обратно с уверением в полном благополучии.
Будущий член кабинета министров Конфедерации учился в школе для бедных детей. Мальчик демонстрировал несомненные способности. Иуда запоминал книжный текст страницу за страницей и с легкостью цитировал огромные поэмы. Но много ли было в Чарльстоне возможностей для бедного иммигранта, пусть даже и с искрой Божьей?
Все изменилось в тот день, когда на пороге лавки появился Мозес Лопес, богатый и уважаемый в еврейской общине предприниматель, известный своей благотворительностью. Он предложил Филиппу и Ребекке отправить мальчика в Йельский университет и дал существенную сумму для поступления. В это было трудно поначалу поверить: в Йель посылали учиться своих сыновей аристократические семьи Юга. Вступительный экзамен в университет включал проверку знания греческого, латыни и математики, а также осведомленности в трудах древних — Вергилия, Цицерона, Саллюстия. Но четырнадцатилетний Бенджамин справился с первым в жизни серьезным испытанием. Часть необходимой платы за его учебу внесло еврейское общество помощи сиротам. Ради сына Ребекка проглотила свою гордость.