Раннее детство будущего писатели проходило в обстановке типичного богатого американского поместья, с играми на свежем воздухе, вылазками со сверстниками и слугами в глушь лесов, катаниями на лодке по озеру, охотой и рыбной ловлей. Джеймс любил стрелять из лука, играть в мяч, скакать на лошади и кататься на коньках по замерзшему озеру.
На озере он научился владеть парусом и веслами, нырять и плавать.
В поселке хорошо знали смелого, честного, доброго и открытого младшего сына судьи Купера. Вольная жизнь среди девственной природы наложила свой отпечаток на юного Джеймса. Братья Куперы, по свидетельству их сестры Ханны, отличались «необузданным нравом», который «явно свидетельствовал о том, что они выросли в лесу». Сама Ханна также любила быструю верховую езду и погибла в 23 года, упав на полном скаку с лошади.
Свое первое образование Джеймс получил в деревенской школе с громким названием «Академия», в которой единственным учителем по всем предметам был Оливер Кори, строгий, но добрый человек. Занятия проходили в «одном из тех безвкусных общественных зданий, которыми отличаются все вновь созданные округа». Помимо школьных занятий, в этом здании проводились политические собрания, церковная служба, заседания суда и редкие общественные балы. В те времена не было ни концертов, ни лекций. Многие жители поселка вообще никогда не слышали звуков музыкальных инструментов.
Судья Купер привез как-то из Филадельфии шарманку и установил ее в гостиной своего дома. Однажды теплым весенним днем судья заиграл на ней, и звуки музыки через открытые окна достигли ушей школьников, сидевших в классе через улицу от дома судьи. Учитель Кори понял, что ему не унять своих слушателей, и он объявил на полчаса перерыв в занятиях.
Но ученики выступали не только в роли слушателей. Раз в году они давали представление, вынося на суд зрителей пьесы Шекспира или других ныне давно уже забытых авторов. В одном из них восьмилетний Джеймс исполнял роль… старца. Учитель Кори и через полстолетия любил вспоминать, с каким чувством маленький Джеймс исполнял эту непривычную роль.
Не меньшее влияние, чем школа и вольная деревенская жизнь на лоне девственной природы, имела на Джеймса и вся господствующая в их доме атмосфера. Отец писателя был человеком далеко не заурядным. Он своими руками сколотил довольно крупное по тем временам состояние, стал одним из влиятельнейших людей в штате. Он был известным федералистом и на короткой ноге с рядом лидеров партии. Среди его близких друзей был первый председатель Верховного суда Джон Джей, он переписывался с президентом Джорджем Вашингтоном, был хорошо знаком с Александром Гамильтоном. Так что Джеймс уже с самых ранних лет жил в мире высокой политики и проблем молодого американского государства.