Вначале судьба благоприятствовала Драйзерам, и вскоре они стали совладельцами шелкопрядильни. Но их благополучие продолжалось недолго: пожар уничтожил фабрику и запасы шерсти. Вскоре самого Джона Драйзера тяжело покалечило на стройке, где он работал. В довершение всех несчастий один за другим умерли трое старших сыновей. Все эти беды сломили силы и дух Джона Поля Драйзера, и для семьи наступили тяжелые годы скитаний и бедствий.
Летом 1871 года Драйзеры жили в Терре-Хот — типичном провинциальном городишке американского Среднего Запада, расположенном на реке Уобаш, в нескольких милях от границы со штатом Иллинойс. Угольные шахты, винокуренный завод, железнодорожное депо и сталелитейня служили местом работы для жителей города и его окрестностей. В 70-х годах прошлого века в Терре-Хот проживало около 17 тысяч человек, и более 90 процентов из них существовало на весьма скромные заработки, которые приносил им двенадцатичасовой рабочий день. Местные богачи, в том числе один миллионер, жили в особняках с остроконечными крышами на авеню Уобаш, и бедняцкая детвора с завистью посматривала на обширные зеленые лужайки перед особняками, клумбы цветов, усыпанные речным песком дорожки. Авеню Уобаш было настоящим оазисом в пыльном, закопченном городке одноэтажных деревянных домов.
Драйзеры — отец, мать и их восьмеро детей — занимали домик на 9-й улице, в самом бедном районе города. Нищета не называлась здесь своим настоящим именем только потому, что она существовала повсеместно и считалась общепринятым явлением.
27 августа 1871 года в семье родился девятый ребенок — мальчик, которому дали имя Герман Теодор. Впоследствии будущий писатель не раз слышал рассказ матери о том, что его появление на свет было отмечено чудесным знамением — через комнату, где лежала роженица, якобы прошествовали три смеющиеся феи с цветами на голове.
Раннее детство писателя было наполнено мистическими рассказами и религиозными предрассудками, голодом и холодом. Его окружали бедность и невежество, тяжкий труд. Лишь любовь и ласки матери скрашивали полуголодное существование хилого, болезненного Теодора. Угрюмый, погруженный в религиозные думы, отец перестал быть опорой семьи, и вся тяжесть забот о пропитании детей свалилась на плечи матери. Она не чуралась никакой работы, лишь бы спасти детей от смерти, — стирала, убирала в местной гостинице, помогала другим по хозяйству, сдавала комнаты и готовила обеды одиноким рабочим.
Дети любили мать и старались помочь ей чем только могли. Пятилетний Теодор вместе с братьями частенько собирал уголь на железной дороге, чтобы в доме было тепло. Когда стал постарше — вместе с сестрой разносил заказчикам пакеты с бельем, которое выстирала и отутюжила их мать. «Как ни был я мал, я все же сознавал страдания, выпавшие на долю моей матери, — писал он впоследствии об этих годах. — Мне вспоминаются долгие, мрачные, серые, холодные дни; скудная еда, состоящая из картошки или чечевицы. Ребенком, в особенности в эти годы, я не однажды бывал голоден…»