У бедных супругов Феодоры и Илии Сергиевых 19 октября 1829 года родился мальчик, на вид такой болезненный, что родители поспешили в тот же день окрестить его, дав имя Иоанн в честь св. Иоанна Рыльского, подвизавшегося на Балканах. Слабенький ребенок быстро окреп и стал здоровым.
Когда мальчику было шесть лет, однажды в горнице он увидел ангела, блиставшего небесным светом, и сильно смутился. Но ангел успокоил его, сказав, что он его Ангел-хранитель, всегда стоящий окрест Иоанна в соблюдение, охранение и спасение от всякой опасности на протяжении всей жизни.
Мальчик Ваня постоянно ходил с отцом в церковь. Отец служил псаломщиком в бедном деревянном сельском храме, где даже богослужебные сосуды были оловянные. Ваня полюбил церковные службы и богослужебные книги и под влиянием родительского воспитания сделался послушным и благочестивым. Мать простая, но твердой веры женщина с детства и до самой смерти была для прославленного священника огромным авторитетом. Стоит привести единственный пример...
Однажды отец Иоанн сильно заболел, это было в начале Великого поста. Врачи объявили, что больному непременно надо принимать сытную скоромную пищу, иначе он умрет. Ему настоятельно рекомендовали есть мясо.
— Хорошо. Я согласен, но только спрошу позволения у своей матери, — ответил больной.
— Где же ваша мать?
— В Архангельской губернии.
— Напишите как можно скорее.
По просьбе больного написали письмо, в котором сын просил благословения матери принимать скоромную пищу в пост. Прошла неделя, другая, больному становилось все хуже. Наконец пришло письмо. «Посылаю благословение, но скоромной пищи Великим постом вкушать не разрешаю ни в каком случае». Отец Иоанн равнодушно принял отказ и был даже, видимо, доволен им, есть мясо отказался, даже рыбы не ел. Ему объявили, что в таком случае он умрет.
— Воля Божия, — ответил батюшка. — Неужели вы думаете, что я променяю жизнь на благословение матери, нарушу заповедь: «Чти отца своего и матерь твою»?
Вопреки предречению врачей, больной поправился.
Известно, что односельчане отца Иоанна еще в мальчике Ване увидели большого молитвенника и часто просили его помолиться в трудных обстоятельствах.
На десятом году жизни родители собрали последние деньги и определили Ваню в Архангельское приходское училище. Учение давалось ему туго: он плохо понимал и запоминал. «Содержание отец получал, конечно, самое ничтожное, жить было страшно трудно, — вспоминал отец Иоанн. — Я понимал уже тягостное положение родителей, и поэтому темнота моя в учении явилась для меня особенно тяжким бременем. О значении учения для моего будущего я мало думал и скорбел только о том, что отец напрасно платит свои последние крохи».