Хотя Иванов неизменно благоговел перед гением Гоголя и дорожил его мнением, он находил, что тот недостаточно вникает в творческие интересы художников, и называл его поэтому «теоретическим человеком». В остальном размолвка не могла поколебать годами сложившейся дружбы. Стоило Гоголю узнать о нездоровье Иванова, и в тоне его письма к художнику вновь появляются нотки самой искренней ласки. Со своей стороны, и Иванов быстро забывает нанесенные обиды и с большой теплотой отвечает ему.
В годы, когда Гоголь создавал свои «Выбранные места из переписки с друзьями», Иванов стал снова часто встречаться с ним и вести долгие беседы. Многое из того, что русские читатели прочли только в 1847 году, он еще ранее слышал из уст самого автора. Трудно было ему не избежать на себе воздействия Гоголя, но стать его верным последователем он не мог. Иванов готов был признать, что искусство должно служить духовному воспитанию человека, но отказаться от искусства ради проповеди прописной морали он не желал — это претило всей его артистической натуре.
За несколько лет до выхода в свет «Выбранных мест» Гоголя Иванов должен был выдержать натиск еще с другой стороны. В 1845 году в Рим прибыл Ф. В. Чижов. Он находился тогда под обаянием московских славянофилов. В Риме в то время жил Н. И. Языков, которого славянофилы считали своим самым боевым поэтом. Со всею страстностью своей натуры Чижов прилагал усилия, чтобы сделать из Иванова художника-славянофила. Было много доводов, которые не могли не подействовать на Иванова, так как они соответствовали его собственным воззрениям. Славянофилы говорили о гниении современной западной культуры и обосновывали это историческими экскурсами в прошлое. Иванов видел, как в Риме деградировало современное искусство, и поэтому должен был согласиться с ними. Чижов говорил о том, что славянофилы по достоинству оценили самобытную культуру древней Руси, народное творчество, старые летописи, и это также должно было привлекать Иванова, который на чужбине так стремился к русской старине и в Москве видел средоточие ее лучших традиций. Но Иванов не стал славянофилом. Его творчество и в эти годы никак не укладывалось в узкое русло славянофильской теории.
В вопросах общественно-политических Иванов не отрекается от понятий, выработанных в дни ранней молодости. Говоря о царском правительстве, он неизменно называет его «деспотической властью» и в этом расходится со славянофилами, защитниками монархии. В царских чиновниках его возмущает «насильство невежественного властелина». Сознавая себя художником-демократом, он дает себе зарок держаться в стороне от «высоких лиц по роду».