У него давно уже сложилось высокое представление об идеальной женщине, подобной воспетой молодым Гоголем прекрасной Алкине с ее мраморными руками, божественной грудью и темными локонами, о красавице, перед которой юноша благоговейно падает на колени с жаркими слезами на пылающих щеках. Правда, это была всего лишь поэтическая мечта художника. Разве только в красавице из Альбано, которая досталась другу, было нечто от этой высокой, недоступной красоты. Он же постоянно общался с женщинами совсем иного рода. Все эти Сусанны, Марианны, Сабины, Чечилии, которые служили ему моделями, были натуры несложные. Мужья их в поисках заработка уезжали из Рима, и, когда все тягости семьи ложились на них, они шли в мастерские художников и позировали им. Молодые художники легко с ними сходились и также легко расходились, писали с них своих Сусанн и ваяли нимф. Не было такого новичка, который не оказался бы запутанным в любовные интриги.
Осенью 1845 года Иванов признавался приятелю, что веселился в Альбано с местными красотками; он оправдывался тем, что прощался с любовью. Но мысль о браке, видимо, часто приходила ему на ум. Этому мешало, что в светском обществе на художника смотрели, как на пария. За примером было не далеко ходить: Федор Иванович Иордан совсем сдружился с русской семьей Альферьевых, но из его сватовства к их дочке ничего не вышло, так как родители считали недостойным выдавать ее за художника.
В 1846 году Иванов через Гоголя получил доступ в русский дом Апраксиных, которые появились в Неаполе летом этого года и оставались здесь зимовать. Глава семейства граф В. Апраксин не покидал Петербурга, в Неаполе жила только его жена Софья Петровна, ее сын и две дочки. Младшая страдала тяжелой неизлечимой болезнью. Врачи предписали ей теплый климат, и ради нее мать обрекла себя на одиночество в Неаполе, вдали от петербургской светской жизни, к которой она была кровно привязана.
В доме задавала тон его хозяйка Софья Петровна, которая питала восторженное чувство к единственному сыну Виктору. Жертвуя собою ради своих детей, она любила всем и всякому напоминать об этом своем материнском самопожертвовании. В Неаполе она скучала прежде всего потому, что здесь было мало домов, с которыми можно было вести знакомство, а к неаполитанскому двору, на балы, русских аристократов приглашали не чаще двух-трех раз в году. Красоты Италии и ее достопримечательности мало занимали ее: конечно, это странно, что в Палермо розы цвели в декабре, а на рождество лил дождь; но за отсутствием других интересов все это быстро приелось и надоело. Жизнь Софьи Петровны заполняли заботы о здоровье детей, особенно о ее собственном здоровье. Изо дня в день она тщательно записывала в журнал, как провела ночь, какой у нее был аппетит, какое влияние оказал сирокко на ее ревматические боли, какие гомеопатические средства ей помогли и что дала бутылка «Шато-Марго» за обедом. Институтское воспитание оставило на ней след и сочеталось с замашками чисто русской барыни. Она предпочитала и думать и говорить по-французски, восклицая на каждом шагу: «О, mon dieu!» (О, мой бог!) Но в своих письмах и хозяйственных распоряжениях не могла удержаться от того, чтобы не перемешать французские словечки с чисто русской речью: Apportez moi du пришлите мне) зеленый пластырь мозольный, charbon (уголь) березовый pour les dents (для зубов)».