Мария Владимировна отличалась миловидностью. Иванов мысленно сравнивал се с головками Леонардо. Она получила светское воспитание, знала иностранные языки, любила балы, танцы и другие развлечения. Иванов решил, что она сможет стать ему верной подругой, и за отсутствием других достоинств у своей избранницы строил фантастические планы о том, что знание иностранных языков поможет ей ознакомить его с новинками «западной учености». Мысль о женитьбе крепко засела в сознании художника. Не обладая искусством светского обращения, он не умел скрыть от посторонних свои намерения, вел себя, как большой ребенок, и обнаруживал всякое неудовольствие признанием собственной невменяемости. Иванов просил Софью Петровну помочь ему в его делах и повлиять в пользу него на петербургское начальство, у сына ее он просил солидную сумму денег на покупку книг для русских художников.
В конце концов Софья Петровна Апраксина решила, что «le peintre russe» (русский живописец) не в своем уме, и насмешливо запросила Гоголя, может ли тот поручиться за умственные способности рекомендованного им приятеля. Видимо, и самого Гоголя смущало поведение Иванова, и, для того чтобы удержать его от дальнейших бестактностей, он передал ему слова Софьи Петровны. Они больно задели Иванова, хотя он и оставался далек от глубокой обиды на друга. В конце концов брак Иванова с Марией Владимировной так и не состоялся. Она вышла замуж за князя Мещерского. Но крушение надежд оставило глубокий след в сознании художника. «Лета мои уходят, — писал он, — ас ними и те дни, в которые человек должен бы быть сопричастен самым высоким наслаждениям жизни. Главной целью жизни для него оставалось «совестливое окончание трудов». Ни одного упрека по адресу судьбы не вырвалось из уст художника, и только один вопрос он не мог в себе удержать: «Неужели мы всё еще живем в те суровые времена, когда нельзя в то же время прибавить и самые высокие наслаждения жизни, составляющие полноту человеческого блаженства?»
В своих отношениях с Гоголем Иванов обычно уступал ему во всем, признавая его умственное превосходство. Гоголю был свойствен дружески-покровительственный тон по отношению к художнику. Еще в 1843 году в связи с волнениями Иванова и готовностью его бросить все и отправиться в Петербург, Гоголь взывал к его благоразумию, настойчиво советовал ему остаться в Риме. В 1846–1847 годах новая вспышка беспокойства Иванова вывела Гоголя из себя. Гоголю стало известно, что, оказавшись в затруднительном положении, Иванов пишет куда попало, взывает к милости вельмож. И скоро к Гоголю стали отовсюду поступать запросы. Гоголю стало очевидно, что Иванов пришел в то возбужденное состояние, в котором он мог наделать много глупостей и только напортить своему делу. От Иванова Гоголь получил письмо с утопическим планом устройства русских художников. Иванов особо рассчитывал на помощь литераторов, и в частности Гоголя. По мысли Иванова, литераторы должны стать чем-то вроде толкачей между художниками и власть имущими: охраняя их от того недопонимания, от которого, по его мнению, так страдало искусство, Иванов приглашал Гоголя «своим гениальным пером приготовить государя на верную оценку наших художественных произведений». Художник хватался за мысль о помощи писателя как за соломинку, но не подумал о том, в каком состоянии находился в то время сам Гоголь. А положение Гоголя было тогда далеко не блестящим: неудачи со второй частью «Мертвых душ» довели его до готовности отреченья от писательской деятельности. Даже обожаемый Рим был ему теперь противен. Нет ничего удивительного, что проекты Иванова занять место секретаря вызвали в нем взрыв раздражения. «Запритесь в свою студию, — писал он, — гоните лукавого». Иванов болезненно воспринимал назидания Гоголя. Несколько раз Иванов оставлял его письма нераспечатанными.