Иванов все реже получал письма от неизменно ценимого им Гоголя. В них иногда звучало ласковое слово, напоминавшее о счастливых днях, проведенных вместе в трактире Фальконе или в студии. Весть о кончине Гоголя глубоко взволновала художника. Личность гениального писателя оставила неизгладимый след в памяти Иванова. Он позаботился о том, чтобы портрет его был выгравирован Иорданом, и писал об этом Жуковскому, но в ответ на письмо получил траурное извещение о смерти и Жуковского. При жизни Гоголя Иванов страстно желал иметь письма его «собственной руки», хотя иногда долгое время не решался вскрывать некоторые из них. После смерти Гоголя Иванов вклеил его последнее письмо в качестве титульного листа в одну из своих тетрадей.
Что касается самого Иванова, то в Петербурге, особенно в академических сферах, о нем уже давно сложилось самое отрицательное мнение. Его возвращения ожидали достаточно долгое время, несколько раз распространялся слух о его скором прибытии, потом все постепенно привыкли относиться к нему, как к заживо погребенному. С конца 40-х годов об Иванове ходили самые разноречивые и вздорные слухи, и оставшиеся в Петербурге родные, в частности сестра Екатерина, не щадя чувств художника, считали своим долгом сообщать ему эти слухи. Светская чернь, особенно люди, близкие к академическому начальству, упорно твердили о том, будто казна давно уже передала Иванову больше; пятидесяти тысяч рублей. По этому поводу высказывали возмущение и лицемерно восклицали: «Довольно потворствовать бесплодному художнику!» Чижову приходилось уговаривать свою «великосветскую покровительницу» графиню Бобринскую и опровергать мнение, будто Иванов «лениво провел время в Италии». Даже расположенные к Иванову люди с обидной усмешкой говорили о пресловутых «трех годах», которых ему всегда не хватало на окончательное завершение картины. Незадолго до смерти старик отец в письме к сыну Сергею недовольно брюзжит на Александра за то, что картина его «могла бы быть давно приведена к концу, если бы он ею занимался по обыкновению всех художников, не выжидая какого-то вдохновения свыше». Иордан писал Иванову из Петербурга: «На вас кричат не в пару, а в четверку: зачем не оканчиваете картину!»— и настоятельно советовал: «Имейте бодрость сказать: кончена». Теперь не было Гоголя, который по собственному опыту мог оценить взыскательность художника и оправдать его.
Одиночество Иванова скрасил только приезд младшего брата Сергея. В судьбе его Александр всегда принимал близкое участие, находясь за границей, переписывался с ним, следил за его учением, направил его на занятия архитектурой. Благодаря Александру Сергей избавился от глухоты удачной операцией, сделанной доктором Иноземцевым в Москве. Александр и позднее помогал ему советами, особенно когда тот послан был за границу и по дороге в Рим остановился в Париже. «Сердце у меня забилось от радости, — писал Иванов отцу, — при известии о том, что брат пересек границу». Александр помнил Сергея мальчиком, и когда у дверей своей студии он увидал незнакомого молодого человека с тонкими, правильными чертами лица и небольшой бородкой, художник долго не мог поверить, что это и есть тот самый долгожданный Сережа, которого почти двадцать лет назад он оставил в Кронштадте восьмилетним малышом. К брату своему Иванов почувствовал большую нежность. Братья стали жить вместе и разлучались только во время летних поездок в Неаполь. Хотя Александр не мог отвыкнуть от взгляда на Сергея, как на младенца, тот скоро оказался в роли заботливой и внимательной няньки своего старшего гениального брата. Он устраивал его дела, следил за его здоровьем, не отходил от него, чтобы предупредить какой-либо опрометчивый поступок.