Жизнь в полном одиночестве, которое нарушал только младший брат Сергей, прибывший в 1846 году в Рим, наложила заметный отпечаток на внутренний облик художника. В нем стала развиваться подозрительность ко всем посторонним людям. Однажды после возвращения из Венеции Иванов обнаружил исчезновение из студии некоторых дорогих ему предметов — золотых пуговиц и темно-синей шкатулки. Позднее его обеспокоило то, что в его отсутствие из запертой мастерской были похищены деньги. Наконец он решил, что кто-то в его отсутствие переворошил его бумаги; причем ему показалось, что вещи оказались посыпанными каким-то порошком, от прикосновения которого он почувствовал боль в руке.
Каждодневный быт его стал все более беспорядочным. Погруженный в свои труды, он стал обходиться без обеда, питался сухим хлебом, который носил припасенным в кармане, варил себе кофе сам, доставая воду из соседнего колодца. В результате крепкое от природы здоровье художника оказалось надорванным. В тех случаях, когда друзьям удавалось затащить его в ресторан и там он отступал от обычных правил своей монашеской трапезы, ему становилось так дурно, точно от отравления.
Все это содействовало развитию в нем болезненной мнительности. Иванов становится недоверчив к людям. Среди художников о нем стали ходить всякого рода слухи. В обществе упорно говорили о том, что он помешался, и Гоголю в статье, посвященной Иванову, пришлось опровергать этот вздорный слух.
Впрочем, сам художник давал повод для такого рода слухов, так как перестал понимать многие самые простые вещи. Он не знал цену деньгам, которые с таким трудом получал на исполнение картины, не понимал, что его бесконечные оттяжки на три года, эти вечные tre anni, как шутили друзья, создали ему дурную славу в чиновном Петербурге. Он плохо разбирался в людях, которые к нему приходили, не понимал, что николаевские чиновники — это бездушные манекены, для которых не существовало гуманности, не понимал, что для того, чтобы чего-ни-будь добиться в Петербурге, мало только взывать к великодушию, нужно уметь пустить в ход связи, нужна протекция, нужно знать все ходы бюрократического делопроизводства. Он не понимал того, что большинству «сильных мира сего» нет никакого дела до судьбы художника, даже если он своими трудами может составить славу русского искусства. Всех этих простых вещей Иванов никак не мог понять. У него было только смутное непреодолимое отвращение к Петербургу и такая же смутная надежда на то, что силою своего таланта он сможет кого-то переубедить, что-то доказать и этим добиться правды. Такое поведение и такие воззрения выделяли его из среды художников и создали ему славу чудака, большого ребенка, от которого всегда можно ждать самых странных выходок.