Когда низкорослый Иуда Бенджамин надел черно-белую форму студента Йеля, он оказался самым младшим среди учащихся. Единственный в те времена иудей в одном из старейших университетов Америки был фигурой экзотической — иммигрант и провинциал среди отпрысков плантаторских семей Юга и денежной аристократии Севера. Университет, расположенный в сердце Новой Англии, оставался цитаделью пуританского консерватизма. Все студенты были обязаны к последнему удару колокола успеть на утреннюю службу, которая начиналась зимой в шесть часов утра, а летом — в пять. Программа первого года включала изучение античных историков Геродота, Тита Ливия, Тацита, а также географии, астрономии, тригонометрии. О трудностях науки говорит одна из тогдашних традиций йельских студентов: в конце учебного года хоронить одну из пяти книг Евклида.
«Бенджамин многое выучил вне классных стен Йеля. Наблюдая вблизи богатых мальчиков, он усваивал манеры высших классов. Он упорно работал, чтобы опередить их в учебе, превзойти в дебатах с помощью логики и остроумия. Он подражал их лучшим качествам, отбрасывая фатовские манеры, он погружался в искусство, музыку и поэзию, чтобы скрыть свое скромное происхождение. Юноша с ограниченными возможностями среди американской элиты, неотесанный провинциал с еврейскими манерами, он страстно подражал лучшим образцам йельского сословия», — писал о нем историк И. Эванс.
К середине второго года обучения Иуда стал одним из лучших в классе. Об этом свидетельствуют сохранившиеся письменные отзывы классных наставников. Юношу ожидало прекрасное будущее. Но в Чарльстоне случилось непоправимое — отец бросил семью. Обстоятельства семейной драмы остались нераскрытыми: Филипп Бенджамин уехал из Чарльстона, и Иуда никогда больше не упоминал о нем. Ребекка была не в состоянии платить за учебу сына — один год в университете стоил немыслимые для иммигрантской семьи деньги: шестьдесят четыре доллара тридцать два цента. Со слезами на глазах, никому не объясняя причин, юный Бенджамин покинул Йель.
В его жизни будет много потерь и разочарований. Однако в шестнадцать лет Иуда принял окончательное и одно из самых важных в своей судьбе решений: он задумал уехать в Луизиану, в Новый Орлеан — город, где его никто не знал и где он мог начать все сначала, без оглядки на прошлое. Ребекка тайком положила в вещи сына истрепанный молитвенник.
Бенджамин приехал в Новый Орлеан в 1828 году с пятью долларами в кармане. Деньги на пароход были взяты в долг у мужа старшей сестры. Ребекку этот город страшил своей сомнительной репутацией, но она понимала, сколь тяжело будет сыну обретаться в Чарльстоне, вернувшись к рутине маленькой фруктовой лавки.