Тяжелый труд матери спасал Драйзеров от голода, но не от кредиторов. Долги росли, нечем было платить за квартиру, и семья вынуждена была переезжать из одного полуразрушенного дома в другой. По свидетельству писателя, в Терре-Хот они переезжали с места на место не менее пяти-шести раз. Крайне тяжелые материальные условия все же не могли лишить родителей желания дать своим детям хотя бы какое-то образование. Мать стремилась отдать детей в бесплатную общественную школу, но отец настоял на платной католической — он уже представлял одного из своих сыновей в роли священника. Первым в католическую школу был отправлен старший сын Поль. Но к этому времени тот уже имел твердо определившуюся склонность к пению и стихам. Церковная муштра пришлась ему не по душе, он сбежал из школы, но не вернулся домой, а вступил в одну из бродячих театральных трупп. Не проявлял никаких склонностей к учебе и второй брат — Ром, которого привлекала недоступная ему легкая жизнь, азартные игры, спиртное. Конечно, не могло быть и речи о том, чтобы Ром оказывал посильную помощь родителям, его самого то и дело приходилось выручать из затруднительных положений.
Теодор рос любознательным, серьезным ребенком, склонным внимательно вслушиваться в беседы взрослых. Отец любил брать Теодора с собой на прогулки и с удовольствием отвечал на его бесконечные вопросы. Впечатлительный мальчик быстро все схватывал и рано научился понимать истинное положение дел в семье. Его доводил до слез один вид рваных туфель матери, и он изо всех сил стремился помочь ей в хлопотах по хозяйству. Если летом Драйзеры еще кое-как ухитрялись сводить концы с концами, то наступление холодов являлось для них настоящим бедствием. «Долгие годы, — писал спустя много лет Драйзер, — даже когда мне уже было лет 35 пли 40, приближение зимы неизменно наполняло меня каким-то неопределенным и крайне угнетающим страхом…»
В шестилетнем возрасте Теодора отдали в небольшую немецкую католическую школу, расположенную на той же 9-й улице. Неподалеку, буквально за углом, находилась бесплатная общественная школа, но отец по-прежнему и слышать не хотел, чтобы его дети посещали какую-либо другую школу, кроме церковной. В памяти писателя от этих первых ученических лет остались долгие часы тягостных служб, зубрежка катехизиса, недоброжелательные лица церковников. С удовольствием он вспоминал только красочные картинки из букваря да краткие минуты игр со сверстниками. Уже в те годы Теодор понимал, что он, его родители, братья и сестры гораздо беднее других. Он страдал, что его одежда и обувь были намного изношеннее, чем у других школьников, что почти все смотрели на него свысока. Разнося по вечерам пакеты с бельем, он старался выбрать улицы потемнее, чтобы не попадаться на глаза знакомым ребятам.