Дома опять стало мрачно и шумно. И чтобы не попасть под тяжелую руку вновь затосковавшего отца, избежать угроз матери и неприветливых лиц сестер, Ваня старался с утра улизнуть на улицу и приходил домой только обедать и ужинать.
Однако на улице было не легче. Сын раскольника Григория Петрова, Яшка, 'маленький, страшно злой, нападал на него, всегда неожиданно вылетая из калитки своего дома. Он, наверно, подглядывал в щель, потому что калитка всегда открывалась именно в тот момент, когда Ваня проходил мимо нее. Яшка ввинчивался своей круглой и твердой, как арбуз, головой, в его бок, сваливал Ваню с ног. Ваня вскрикивал от боли, но изо всех сил торопился скорее вскочить и пуститься наутек.
— Я еще тебе покажу, Никонианово отродье, — кричал ему вслед Яшка. «Никониановым отродьем» раскольники называли православных.
Первое время потом Ваня за версту обходил Яшкин дом, и Яшка совсем не попадался ему на глаза. Потом Ваня, потеряв бдительность, опять случайно оказывался возле калитки Петровых, и все повторялось.
С живущим через несколько домов от Голышевых Сашкой Кирилловым, его родители были единоверцами, они даже часто играли, но только до первой ссоры. Стоило Сашке проиграть в лапту или на что-то рассердиться, как он свирепел, набычивался, и Ваня боялся, что он, как Яшка, тоже врежется ему в бок. Но Сашка только шипел сквозь зубы скверные слова и сверлил Ваню злым взглядом. И Ваня, напуганный, убегал домой.
Ваня тоже впадал в отчаянье. Взрослым не до него. Дома и на улице — одни огорчения. Опасаясь подзатыльников и щелчков, он бродил по избе с втянутой в плечи головой. Бездельничать было скучно, а попытка приняться за какое-то дело самостоятельно неизменно вызывала недовольство старших.
«„Пропадешь!" — носилось надо всеми мне близкими. Пропадешь, если посмеешь чего-нибудь захотеть сам, если сам что-нибудь позволишь себе… „Пропадешь", — кричали небо и земля, воздух и вода, люди и звери… И все ежилось и бежало от беды — в первую попавшуюся нору», — такими словами потом в «Воспоминаниях» выразит Иван Александрович Голышев атмосферу той поры своего детства.
Положение усугубляли болезни, которые с рождения цеплялись к мальчику одна за другой. Какая бы хвороба ни заглядывала в слободу, она обязательно заходила в дом Голышевых и, обойдя стороной или слегка опалив пышущих здоровьем сестер, обязательно сваливалась на Ваню.
Атмосфера недоброжелательства и отчаянья в семье этому только способствовала.
1846 год выдался страшно тяжелым. Весь май дождь перемежался со снегом, дул сильный ветер. Реки Тара, Мстёра и Клязьма поширели, вышли из берегов, затопили пойму, огороды, поля превратили в болота. Хлеб весь вымок. Потом прошел сильный град и окончательно погубил будущий урожай озимых.