Этот беглый матрос и воспитывал в Гиляровском «удалого охотника», заставлял его лазить по деревьям, обучал гимнастике, борьбе, плаванию, верховой езде.
Семья Гиляровских жила очень дружно и скромно. Отец и дед были завзятые рыбаки и первые медвежатники на всю округу, крепко дружили с крестьянами и пользовались всеобщим уважением. «3а все время управления дедом глухим лесным имением, где даже барского дома не было, никто не был телесно наказан, — с гордостью пишет Гиляровский, — никто не был обижен, хотя кругом свистали розги, и управляющими, особенно из немцев, без очереди сдавались люди в солдаты, а то и в Сибирь ссылались… Дед был полным властелином и, воспитанный волей казачьей, не признавал крепостного права: жили показачьи, запросто и без чинов».
В 1860 году Алексей Иванович получил место чиновника в губернском правлении, вся семья переехала в Вологду и поселилась за рекой, на Калашной улице. На лето отправлялись в небольшое имение Светелки, стоявшее на берегу Тошни, в тех же глухих и непроходимых домшинских лесах. Гиляровскому минуло восемь лет, когда умерла его мать, и мальчик еще больше привязался к беглому матросу Китаеву, целыми днями пропадая с ним на охоте.
Вскоре умер дед, отец женился на Марии Ильинишне Разнатовской, и мальчик перестал бывать в родных домшинских лесах, а гостил под Вологдой, в Несвойском, и в Деревеньке, небольшой усадьбе родовитых, но уже разоряющихся дворян Разнатовских. Даже здесь не расставался он со своим воспитателем Китаевым. «Моя мачеха, — вспоминает Гиляровский, — добрая, воспитанная и ласковая, полюбила меня действительно как сына и занялась моим воспитанием, отучая меня от дикости первобытных привычек. С первых же дней посадила меня за французский учебник, кормя в это время конфетами. Я скоро осилил эту премудрость…, но „светские“ манеры после моего „гувернера“ Китаева долго мне не давались, хотя я уже говорил пофранцузски. Особенно это почувствовалось в то время, когда отец с матерью уехали года на два в город Никольск на новую службу по судебному ведомству, а я переселился в семью Разнатовских. Вот тутто мне досталось от двух сестер матери, институток: и сел не так, и встал не так, и ешь, как мужик! Допекали меня милые тетеньки».
В августе 1865 года Гиляровский поступил в первый класс вологодской гимназии «и в первом же классе остался на второй год».
В гимназии царили те же грубые и жестокие нравы, что и в годы обучения здесь П. В. Засодимского— в ходу были линейки, подзатыльники, карцеры, применялись «по традиции» и розги. Гимназистов учили «чемунибудь и какнибудь», поэтому у Гиляровского о том, что он учил, и о тех, кто учил, «осталось в памяти мало хорошего». Во главе гимназии стоял брат известного поэта Василия Красова, Иван Иванович Красов, человек вялый и сонный, и в его времена гимназия страдала от засилия чопорных и важных иностранцев. Учитель французского языка Ранси был чрезвычайно бездарен: на родине он был парикмахером и вряд ли знал хорошо даже свой язык. Немец Робст, по словам Гиляровского, «производил впечатление самого тупоголового колбасника». Гимназисты, зная, что он совершенно не понимает порусски, читали ему вместо утренней молитвы — «Чижик, чижик, где ты был», за что впоследствии многие из них, в том числе и Гиляровский, не миновали карцера.