Долгое время Иванов домогается сближения с даровитым художником. Прежде чем открылись двери его мастерской, он просит разрешения видеть его картину. Но, видимо, сблизиться с Брюлловым было ему не легко. Попытки через отца воздействовать на Брюллова как на его бывшего ученика, добиться его согласия не отказывать Александру в советах также ни к чему не приводят. С досадой Иванов замечает в нем непостоянство, вспыльчивость и своенравность. Ему претит его близость к послу, его способность ловко устраивать свои дела. Когда Иванову не удается получить разрешение на производство копий, с росписей Рафаэля, он подозревает в этом Брюллова.
В одном из своих альбомов Иванов записывает для себя: «Когда я действую широкой душой, то есть всю массу моего сословия художников в себе сочиняю, вмещаю в себе ее со всеми раздорами каждого, согласив их в себе, отдавая каждому свое, то вот тут только чувствую наравне с великими людьми». Между тем согласия и дружбы среди художников было меньше всего. Иванов с горечью сравнивал это положение вещей в русской колонии с удельными междоусобицами.
Поводов для разногласий, споров и ссор было достаточно. Однажды архитектор Ефимов пытался присвоить себе картины покойного Сильвестра Щедрина: Иванов напал на него за мошенничество, но тот нашел поддержку у Брюллова. Другой случай произошел с пенсионером Гофманом; Брюллов не допускал его картину на выставку из-за ее невысокого качества, но Иванов взял его под защиту. Однажды Брюллов решил поиздеваться над бездарным пенсионером Михайлой Марковым и прямо бросил ему в лицо, что из него не выйдет художника; тот так разобиделся, что чуть не наложил на себя руки, — его утешителем выступил Иванов. И снова между двумя художниками легла тень.
Во всех этих происшествиях Иванов стремился быть защитником справедливости, но, видимо, слишком назойливо выставлял напоказ свою благородную роль. Фразы его вроде: «Я имею много друзей, но верен буду одной истине», или: «Я уже обрек себя умереть на пути к пользе отечеству» — должны были звучать для посторонних пустым хвастовством. Его предложение петербургскому начальству «описать все пороки и добродетели» римских пенсионеров могло быть сочтено за донос на товарищей. Брюллов не претендовал на столь высокую роль и был менее разборчив в выборе друзей. Он умел привлечь к себе сердце открытым характером, веселостью, общительностью, наконец, своими блистательными успехами. Можно представить, как встречались оба художника: Брюллов, окруженный свитой друзей и поклонников, уверенный в успехе, остроумный и веселый, — Иванов, обычно в одиночестве, угрюмо-сосредоточенный, тревожно-суетливый. В минуту откровенности Иванов готов был признаться, что в нем шевелилось по отношению к сопернику недоброе чувство зависти. Но он делал все для того, чтобы не дать ему над собою власти.