Если Александру Иванову должно было быть не по себе в академии, то и в родительском доме не было полного благополучия. Отец Александра Андрей Иванович Иванов был человеком незнатного происхождения. Из Воспитательного дома он еще в раннем детстве был взят в академию и получил дворянство, дослужившись до соответствующего чина. При окончании академии Андрею Иванову была присуждена золотая медаль, но, рано женившись, он лишился права заграничной поездки и остался педагогом академии. В молодости своей Андрей Иванов в числе немногих русских художников входил в состав Вольного общества любителей словесности, наук и художеств, в котором высоко почитались традиции радищевского свободомыслия. В творчестве художника эти связи его проявились в картинах на темы из русской истории, в которых он в меру своего скромного художественного дарования пытался увековечить подвиги русских людей, придавая им сходство с героями античности. Однако нужда заставляла его переходить от писания патриотических холстов к церковным образам и казенным иконостасам. Вдумчивым отношением к своим педагогическим обязанностям и усердием по службе он дотянул до звания профессора.
С автопортрета Андрея Ивановича на нас смотрит приветливое лицо человека с густыми темными бровями, коротким, чуть вздернутым носом и пухлыми добрыми губами. Его открытое, добродушное лицо плохо гармонирует с тугим и высоким воротом шитого золотом академического мундира.
Поскольку жена его ограничивала круг своих интересов хозяйственными делами и здоровьем своих пятерых детей, воспитание Александра оказалось целиком в руках отца. В сыне своем он не чаял души, видимо надеясь увидеть в нем сбывшимися свои мечты художника, от которых он сам, обремененный семейными заботами, вынужден был отказаться. Впрочем, согласия и мира в семье Ивановых не существовало, особенно после неудачного замужества старшей сестры Александра Екатерины. Недаром Александр никогда не любил вспоминать о своем детстве и горько сетовал на судьбу, которая с ранних лет «вокормила его бедами». Во многом он готов был винить самого себя: юношей ему все казалось, что в детстве он много времени потерял напрасно и по причине лени и бездеятельности так и не стал вполне образованным человеком.
В этих упреках самому себе была значительная доля преувеличения. В старших классах академии Александр работал с исключительным трудолюбием. Он твердо усвоил мысль, что на природные дарования ему не приходится полагаться. Иное дело братья Брюлловы, особенно Карл, слава которого уже гремела по всей академии. Впрочем, дух соревнования твердо укоренился между учениками академии и искоренить его не было никакой возможности. Этот дух соревнования поощрялся самой системой отметок по рисунку, которые ставились в последовательном порядке, начиная с номера первого — лучшего. Это сказывалось и в раздаче медалей, которые сулили в будущем осуществление мечты каждого ученика — поездку в Италию на казенный счет. Упорным, сосредоточенным трудом Иванову в последние годы пребывания в академии удавалось несколько раз заслужить медали. Но в сознании его оставалось непоколебленным представление о совершенстве Карла Брюллова. Он называл его Геркулесом, с которым безрассудно вступать в единоборство.