Словом, в Винсенсе Теодору понравилось. Однако их пребывание в этом городе продолжалось лишь несколько недель, а затем мать с детьми переехала в Салливан, город, в котором она с мужем когда-то знавала лучшие времена. С помощью старых знакомых летом 1879 года ей удалось снять недорогой коттедж с небольшим участком, и она снова начала зарабатывать на жизнь стиркой и уборкой. Дети по-прежнему разносили пакеты с бельем, собирали на железной дороге уголь, помогали матери выращивать овощи. Они продолжали ходить в школу, хотя матери стоило немалых трудов одеть их и особенно обуть. Однажды зимой учитель отправил Теодора и Эда из школы домой, так как сидеть в классе босыми было слишком холодно. Пришлось матери брать дополнительную стирку, чтобы оплатить ботинки. Семья жила в голоде и холоде, но зато как горд бывал поздними вечерами девятилетний Теодор, когда он вместе с сестрой обучал мать письму. Радовалась и мать: всю жизнь ей хотелось научиться писать, и вот теперь наконец-то младшие дети пришли ей на помощь.
Несмотря на нужду, эти годы писатель вспоминал с благодарностью: «Если бы меня попросили указать какой-то период моей юности или даже всей жизни, о котором я мог бы сказать, что он представлял собой единство простоты, чудес, красоты, при почти полном отсутствии знания о добре и зле или чувств, ими вызванных, я бы остановился на двух-трех годах, которые прошли в простом небольшом белом домишке, приютившем нас в Салливане». Неподалеку от дома Драйзеров располагалась железнодорожная станция, через которую проходили поезда. И основная прелесть Салливана для мальчика заключалась именно в этом зримом движении поездов через станцию. «О, когда же наконец я отправлюсь на таком поезде поглядеть мир?» — думал Теодор.
В ожидании этих лучших времен девятилетний Теодор наслаждался тем немногим, что имел. «Сидя в кресле-качалке у одного из окон нашей гостиной и лаская на коленях небольшого черно-белого щенка, одного из троих, приставших к нам, я часами раскачивался, напевал песенки, наслаждаясь утренними лучами солнца. Из окна открывался вид на широкое поле клевера, которое мне всегда представлялось то небольшим озером, то целым морем красок». В другие дни он вставал еще до восхода солнца и любовался его первыми лучами, а затем отправлялся со своим щенком в длительные прогулки по окрестным полям и рощам. Он любил сидеть у небольшого озера где-нибудь в лесу, смотреть, как отражаются в воде небо, деревья, или следить за полетом птиц. Сначала мать беспокоили его отлучки из дома, но постепенно она привыкла к ним, хотя и находила поведение Теодора несколько странным.