Сын профессора Академии художеств, всеми любимого и уважаемого, Александр Андреевич Иванов родился в 1806 году в Петербурге, в здании Академии художеств. Мать его до замужества имела фамилию Демерт. Семья состояла из двух дочерей и трех сыновей; из братьев старшим был Александр. Отец его, А. И. Иванов, известный своими работами по религиозной живописи, получил образование в Академии художеств и по присуждении ему золотой медали оставлен был при ней преподавателем. Ранняя женитьба лишала его права на заграничную командировку, что, однако, не помешало ему стать выдающимся художником. Серьезный взгляд А. И. Иванова на искусство, всегда одушевлявшее его стремление идти вперед и совершенствоваться быстро выдвинули его из среды товарищей-профессоров, и вскоре он сделался любимым профессором молодых художников, находивших в нем дельного и талантливого руководителя. Нечего и говорить, насколько интересовался отец Александра Иванова художественным образованием старшего сына; с малых лет подметив в нем недюжинное дарование, он тогда же решил сделать из него художника и стал учить его рисовать, как только мальчик был в состоянии держать карандаш в руке. Направляемый таким прекрасным, таким опытным наставником, талант ребенка с самого начала развивался правильно. До двенадцати лет Александр Иванов учился дома, беря уроки преимущественно у профессоров Академии. При поступлении в Академию он рисовал уже прекрасно для своих лет. Влияние отца на художественное развитие сына сохранялось как в бытность последнего в Академии, так и далеко за ее пределами. Александр Иванов всегда высоко чтил своего отца как художника и глубоко интересовался его мнениями в вопросах искусства. Впоследствии, работая в Риме в качестве пенсионера Общества поощрения художников, сделавшись затем выдающимся живописцем, заслужившим уважение и удивление собратьев-иностранцев, он не переставал посылать отцу подробные отчеты о своих работах, часто прибегая к его советам, и если иной раз и не соглашался с его взглядами и отстаивал свои собственные, самостоятельно выработанные мнения, то всегда относился к указаниям его с глубоким уважением и почтительным вниманием.
Но не только служение одному и тому же искусству, одинаково серьезное и добросовестное отношение к нему сближало отца с сыном; их соединяла еще самая нежная родственная привязанность и связанная с нею заботливость друг о друге. В сборнике, изданном М. П. Боткиным, мы находим много писем Александра Иванова к отцу, в которых чуть ли не в каждой строке сквозят любовь и заботливость необыкновенные. Всякая невзгода, постигающая старика, нарушает душевное равновесие сына, тяжело отзывается на его занятиях; всякое известие о малейшем нездоровье отца приводит его буквально в отчаяние.