Год рождения писателя в разных источниках указывается по-разному (1845 или 1848). Мама его была ирландкой, отец, чьё происхождение неизвестно, покинул жену вскоре после рождения сына, что повлияло на всю жизнь мальчика, так как он старался не упоминать о том, что был незаконнорождённым. Любовь к книгам и языкам прививалась матерью, которая много читала сыну. В 1856 году Джо Харрис начал своё обучение, поражая преподавателей своей феноменальной памятью и способностью к письму, потому что читал все газеты и книги, которые можно было достать. Сверстники описывали его как низкорослого рыжеволосого веснушчатого мальчика с грубоватым чувством юмора, колкими шуточками, за которыми он скрывал свою стеснительность из-за рыжих волос, ирландского происхождения и незаконного рождения.
С 13 лет Джо работал на плантации Эдисона Тёрнера за питание, одежду и проживание «мальчиком на посылках», набирая тексты газетных статей. Там он слушал рассказы чернокожих рабов, которые впоследствии станут прототипами Дядюшки Римуса, Матушки Мидоус и других героев его афро-американских сказок, которые он начал писать десятилетие спустя.
Харрис жил в удивительное и одновременное сложное время перемен в своей стране. Гражданская война 1861–1865 годов между Севером и Югом привела к отмене рабства.
В это время Харрис осознал своё призвание – писательство. Он начинает свой путь как журналист, его рассказы о сельской жизни и жителях Джорджии, обзоры книг, каламбуры и юмористические заметки перепечатывались разными газетами по всему штату и принесли ему славу. Постепенно от публицистических статей он переходит к художественным произведениям, и теперь уже Дядюшка Римус начинает рассказывать старые сказки рабов, их присказки и песни, которые оформились в книгу «Дядюшка Римус, его песни и сказки», напечатанную в 1880 году и с того времени издававшуюся десятки раз в Америке и по всему миру. Всего Харрис написал 185 сказок, выпустил 35 книг, тысячи статей за 24 года работы в газете “Constitution”.
В 1888 году Джоэль Харрис вместе с известным американским писателем Марком Твеном стал почётным членом Американского общества фольклора. Твен был настолько впечатлен способностью Харриса воссоздавать диалектную (народную) речь, что в 1882 году предложил ему участвовать в создании площадок для сценического чтения в Новом Орлеане, Луизиане и других штатах. Харрис вынужден был отказаться из-за своего заикания, тогда Твен взял для чтения некоторые сказки и признавался позже, что они пользовались большим успехом у слушателей.