Иванов должен был испытать на себе гнет того бюрократического порядка, при помощи которого николаевское правительство стремилось подчинить себе все живое в русской культуре, обезличить творчество, насаждать послушание, угодливость, казенность, столь ненавистную лучшим русским людям. Трагедия русского художника была в том, что в то время еще не было общественных сил, на которые он мог бы опереться в своем стремлении выразить в искусстве народные идеалы. Картина его в течение двадцати с лишком лет оставалась в России неизвестной.
Вынужденный постоянно обращаться за помощью к чиновникам, он сталкивался с их желанием взять под контроль его творчество. Дирекция русских художников в Риме в лице полковника Киля, самоуверенного и бездарного дилетанта, пыталась проникнуть в мастерскую художника, чтобы следить за его работой. Иванову посылались официальные предупреждения, от которых он приходил в замешательство, грозили ему, не останавливались ни перед чем, лишь бы добиться его послушания. Иванов чувствовал себя перед чиновниками растерянным и беспомощным, не знал, как отпарировать удары, и в этом неравном бою терпел поражения. Все это делало положение художника тяжелым и мешало ему осознать и свое призвание и свои ближайшие задачи.
П. В. Анненков видел и описал Иванова в конце 30-х годов. По его словам, это был «плотный мужчина с красивой круглой бородой, необычайно умными, зоркими карими глазами и превосходным славянским обликом, где доброта и серьезная проницательная мысль выражались, так сказать, осязательно». Этим словам отвечает и облик Иванова, который запечатлел своим карандашом его младший брат Сергей тотчас же по прибытии в Рим и который позднее был передан в офорте И. Н. Крамским. Лицо Иванова отличалось правильностью черт, но без особенной резкости и остроты. У него был высокий, открытый лоб, прямой, но широкий нос, густая борода — во всем лице отпечаток твердости в сочетании с мягкостью.
В том же самом году, в котором выполнен был рисунок с Иванова, сделан был дагерротипический снимок для отсылки его в Петербург. То же самое лицо, та же коренастая, плотного сложения фигура, закинутые назад волосы, высокий лоб, широкий прямой нос и окладистая борода. Но в этом снимке, в облике художника, в его позе с руками крест-на-крест на груди есть что-то напряженное, отпечаток горечи заметен в сжатых губах, выражение муки в чуть сдвинутых бровях и усталости в его впалых щеках. Видно, жизнь в борьбе и лишениях не могла не оставить своего следа. Недаром в эти годы даже близкие к нему люди задавались вопросом: «Что происходит в его душе?»