Упорство и блестящие способности позволили Николаю Ивановичу Серову добиться положения видного чиновника Министерства финансов. Продвижению на более высокие этажи карьеры помешали и его характер, отмеченный вспыльчивостью, и «вольтерьянские» взгляды.
Чиновник-финансист питал любовь к музыке и на этой почве сдружился с дирижером петербургского хора и учителем пения в хоре придворной певческой капеллы Петром Ивановичем Турчаниновым. Протоиерей Турчанинов, о коем говорили, что он «учился музыке у Господа Бога», не только пел, но и сочинял музыку и, по мнению знатоков, входил, наряду с Бортнянским и Львовым, в число самых выдающихся духовных композиторов России.
В долгие зимние вечера в петербургском доме Серовых на Лиговке нередко собирался блестящий струнный квартет с участием первых скрипок оркестра столичной оперы Семенова и Лабазина. В. В. Стасов предполагал, что инициатором таких музыкальных вечеров в доме Серовых был «великий приятель Николая Ивановича» протоиерей, который любил петь, аккомпанируя себе на фортепиано. Маленькие Александр и его сестра Софья, чутко воспринимавшие музыку, опрометью бежали к матери, чтобы сообщить: «Бог тата-та!» – в детском сознании служитель церкви Турчанинов был равнозначен Богу.
Их мать, Анна Карловна, в противовес крутому нравом мужу, была женщиной доброй и кроткой, нежно любила детей и пыталась, как могла, защитить их от вспыльчивости мужа. Дети платили ей нежной привязанностью.
Отец Анны Карловны, Карл Людвиг (позднее – Карл Иванович) Таблиц, происходил из семьи немецких евреев, переселившихся в середине XVIII века из Пруссии в Россию. Карл Людвиг, талантливый естествоиспытатель, принимал участие в нескольких научных экспедициях – в Южной России, в Персии, в районе Каспийского моря. С 1783 года помогал светлейшему князю Потемкину обустраивать Крым, что нашло отражение и в его научных трудах – «Физическое описание Таврической области», «Географические известия о Тавриде», переведенных на несколько иностранных языков. Восемь лет, с 1788 по 1796 год, Карл Таблиц служил вице-губернатором Таврического наместничества, а позднее, в начале 1800-х годов, был назначен директором государственных лесов в лесном департаменте Министерства финансов. Заслуги его перед Россией были отмечены званием почетного члена Петербургской академии наук, чином тайного советника, должностью сенатора.
И если любовь к музыке Александру Серову, как и его сестре Софье, привил отец, то другая страсть мальчика – к книгам по естественной истории, особенно к сочинениям Бюффона, передалась, вероятно, от естествоиспытателядеда.