Антип Харитонович после солдатской службы в лейб-гвардии Семеновском полку не вернулся в родное Заволжье. В Вырице он выстроил одноэтажный дом-«пятистенку» и, как писали биографы И. А. Ефремова, всю свою энергию и богатырскую силищу степняка вложил в нелегкую задачу — «выбиться в люди».
Мать — Варвара Александровна, урожденная Ананьева, выросла в семье крестьян-старожилов одного из сел, расположенного неподалеку от Вырицы. Из раннего детства Иван Антонович запомнил недалекие поездки к бабушке и проживание в ее доме, наполненном запахами клея, кожи и пирогов. Мать рано вышла замуж и восемнадцати лет родила Ивана. Сестра Надежда родилась годом раньше. Младший брат Василий появился через год после Ивана. Варвара Александровна была красива, и Иван Антонович, особенно в юности, походил на нее резко очерченными, тонкими чертами лица, разлетом бровей и твердым взглядом серых, внимательных глаз.
В доме отца все было прочным и массивным. В окна смотрели вековые сосны и ели. В комнатах стояла дубовая резная мебель. В громадных, под потолок шкафах теснились кожаные переплеты книг. Общую картину могущества дома дополнял медведь. Кольцо цепи, скользившее по натянутой проволоке, позволяло ему передвигаться по широкому двору, вымощенному деревянным торцом.
Отец, перенесший в дом привычный патриархальный уклад, обладал крутым и деспотичным нравом. Его помыслы и заботы были подчинены лесоторговле, а сыновья не привлекали особенного внимания, поскольку были слишком малы для участия в делах. Младший брат рос болезненным мальчиком и требовал постоянных забот матери. Ваня в какой-то мере был предоставлен себе. Он благополучно перешел возраст, в котором неумеренные родительские запреты и «здравый смысл» нередко нарушают развитие нормальной психики, сковывая любознательность, инициативу и фантазию. В шестилетнем возрасте Ваня сделался первым читателем отцовской библиотеки. Книга «Двадцать тысяч лье под водой» ввела его в мир фантастики Жюля Верна и произвела прямо-таки оглушительное впечатление, как вспоминал позднее Иван Антонович.
Вскоре болезнь младшего сына вынудила семью переехать на юг, в Бердянск. В этом небольшом городке прошли детские годы Вани и начало учебы в гимназии. Позднее он воскрешал в деталях события детства.
Как-то осенью 1953 г. Ефремовы возвращались из Крыма на «Победе». Дорогой около поворота на Бердянск Иван Антонович вдруг вспомнил, как в 1916 г. он с мальчишками раздобыл в порту селитру и зарядил чугунную пушку в городском сквере. Оглушительный выстрел прогремел вечером во время гулянья. Виновники переполоха, перепугавшись, разбежались по домам. Через два дня они с гордостью читали в местной газете, что полиция напала на след злоумышленников, поиски продолжаются. Пушка слетела с постамента, ее снова водрузили на место, но предварительно заклепали.