Каждый из братьев пошел своей особой дорогой, но все они распростились с купеческим сословием. Николай и Дмитрий стали военными, Александр посвятил себя науке.
Потеряли связь с купечеством и сестры. Старшая сестра, Варя (1836–1909), вышла замуж за архитектора, а Анна (1847–1905) стала женой офицера.
Сын младшей сестры Александра Григорьевича Столетова, Николай Порфирьевич Губский, скончавшийся в 1948 году, рассказывал:
«Я хорошо помню полученное Василием Григорьевичем в день его 70-летия письмо от Александра Григорьевича. В письме Александр Григорьевич, приветствуя «дорогого юбиляра», с благодарностью вспоминал, как много ему обязаны младшие братья, и, в частности, он — Александр Григорьевич. Несомненно, Александр Григорьевич разумел здесь настояния Василия Григорьевича, чтобы братья прошли и среднюю и высшую школу».
Помощь, которую оказывал старший брат будущему великому физику, не ограничивалась только добрыми советами. Василий Григорьевич помогал Александру Григорьевичу и материально, когда тот учился в Московском университете.
Вторым братом Александра был Николай (1833–1912), впоследствии один из виднейших русских-военных деятелей, герой обороны Шипки во время русско-турецкой войны.
Николай, человек очень одаренный, блестяще учился во Владимирской гимназии. Особенно он выделялся своими замечательными способностями к языкам. Уже в гимназические годы Николай овладел в совершенстве французским, немецким и английским языками. Впоследствии он изучил и несколько восточных. Благодаря его стараниям и все младшие братья и сестры учились иностранным языкам: не только читать и писать, но и говорить.
Третьим сыном Столетовых был Александр.
Сохранился календарь, который вел Григорий Михайлович Столетов. В этом календаре он записывал даты рождения детей, различные события, погоду и свои сны. На одной из июльских страничек календаря под толкованием снов: «первый сон — справедливый, второй — скоро сбудется и при том в радости, третий сон — пустой», Григорий Михайлович записал: «1839 год, 29 числа сего месяца[1], в 11 часов ночи родился сын Александр».
Необыкновенные способности Саши проявились еще в раннем детстве. Когда ему было всего четыре года и мать еще только собиралась начать учить его грамоте, обнаружилось, что крошечный мальчик уже умеет читать. Мальчуган постиг грамоту самостоятельно. В пять лет он читал уже совершенно свободно. Чтение стало его любимым занятием.
Саша был ребенком хрупким и болезненным. Он редко участвовал в шумных играх своих сверстников. Лучшим удовольствием для него было, достав интересные книжки, забиться в уголок и читать, читать не отрываясь.