Отец Александра Григорьевича был человеком замкнутым, неразговорчивым. Из всех детей Григория Михайловича на него особенно походил сын Дмитрий (1845–1899), младший из братьев Столетовых. Некоторые черточки отца — сдержанность, нелюбовь к чувствительным излияниям и громким словам, подчеркнутую вежливость, постоянную корректность — унаследовал и сын Александр.
Вечно занятый своими делами, Григорий Михайлович был в семье почти гостем. Воспитанием детей занималась главным, образом его жена Александра Васильевна (1806–1889).
Александра Васильевна, урожденная Полежаева, была родом из Касимова. Происходила она тоже из купеческого сословия. Женщина эта была, по тем временам, незаурядная: она была не только грамотна, но и начитанна. Арифметику и русский язык Александра Васильевна сама преподавала детям. Она всегда относилась к ним с большой нежностью, и они платили ей тем же. Уже в глубокой старости сына нередко с едва скрываемой тревогой говорила: «Что-то там мои мальчики?» — хотя «мальчикам» было уже за пятьдесят.
В необычном для купечества быте столетовской семьи ничто не напоминало того «темного царства», которое заклеймил в своих произведениях великий драматург А. Островский. Самодурства, грубости, жестоких наказаний для детей — ничего этого в семье Столетовых не было.
В дружной семье, где все основывалось на взаимном уважении, не существовало проблемы «отцов и детей».
Хотя родители были религиозны, а подчас и суеверны, твердо помнили, к какому угоднику по какому случаю надо обращаться, верили в сны, в приметы (Александра Васильевна, например, говорила детям, что, съев яйцо, надо обязательно раздавить пустую скорлупу, чтобы не завелась «нечисть»), они тем не менее отлично понимали, что детей обязательно нужно учить и учить хорошо.
В доме Столетовых знания ценили; покупали книги, выписывали журналы.
Детей с ранних лет приучали к труду, им внушали уважение к труду другого человека.
Все дети учились во Владимирской гимназии. Кончить гимназию не удалось только старшему брату — Василию (1825–1896). Очень способный и умный человек, Василий Григорьевич вынужден был покинуть гимназию, так как ему пришлось заняться делами — помогать отцу. Не доучившись в гимназии, Василий Григорьевич потом упорно пополнял свои знания самообразованием. Тяготясь купеческими делами, старший брат приложил немало усилий, чтобы избавить младших от судьбы, выпавшей на его долю. Большой заслугой Василия Григорьевича было то, что именно по его настояниям младшие братья не только окончили гимназию, но и получили университетское образование.