Ребята часто играли в бейсбол или футбол на извилистой улице. Лет с двух Джим исправно посещал дни рождения других детей из приличных семей, хотя дома сидел больше, чем они. Джеймс-старший не был снобом, но к окружению сына относился весьма придирчиво. Особенно настораживала его дружба с семейством Бишопов. Позже Джим-младший говорил о них: “bona fide hillbillies” («деревенщина как она есть»), но Бишопы были славные, у них было весело, и Джим, конечно, любил туда ходить. Но когда ему начала нравиться их не по годам бойкая дочка Диана, папа живо почуял опасность и сделал все, чтоб ее предотвратить. При этом другие соседские девочки были вне подозрений. Одна из бывших девочек, Шарон Ральф, вспоминает: «Джим выходил гулять реже, чем другие ребята, хотя на праздники приходил всегда. Его маму все любили, я охотно бывала у них, она была очень добрая, спокойная и милая». Мистера Остерберга, наоборот, побаивались: «Не знаю почему, – говорит Дуэйн Браун. – Это был длинный тощий человек с военно-морской стрижкой, с ним было неуютно. Он никогда не делал нам ничего плохого, просто выглядел мрачным».
В домашней атмосфере Коучвилла, где мамы-домохозяйки заботились о больших семьях, Остерберги – единственный ребенок, оба родителя работают – были исключением. Ранние воспоминания Джима – об одиночестве: как он спал или просто валялся на полке в кухоньке восемнадцатиметрового трейлера, как смотрел Howdy Doody на крошечном экране черно-белого телевизора, как папа сидел на заднем дворике с приехавшим в гости сослуживцем – настоящим ковбоем при полном параде, вплоть до сапог и шляпы «стетсон»: «Я никогда таких не видел, и он мне очень понравился». У Джима была астма, и родители очень за него волновались. Они вынули из «кадиллака» заднее сиденье и оборудовали там специальный домик, где четырехлетний Джим мог лазить или лежать в колыбельке во время воскресных семейных выездов на природу. Позднее он начал совершать вылазки с ребятами в поля или на железную дорогу или подолгу бродил один, но чаще сидел дома или у няни, Миссис Лайт, мечтая о научной фантастике и воображая себя Суперменом или «Атомным Мозгом». Часто пропускал школу из-за приступов астмы и в это время жил в воображаемом мире, который, казалось ему, отделяет его от одноклассников. Прием лекарства от астмы обострял волшебство: «Это был эфедрин. Сейчас вот запрещают псевдоэфедрин, основной ингредиент для спидов. У меня был настоящий эфедрин, это гораздо лучше. Такое от него ощущение… отличное. Что-то в нем есть поэтическое. И, боюсь, это стимулировало во мне творческое начало».