Заручившись «покровительством» великой княгини, художник рассчитывал, что ему не придется иметь дела с Петербургской таможней и ящики с его библейскими эскизами будут прямо с парохода доставлены в Петербург. Но случилось так, что по дороге ящики оказались разбитыми. В контору Елены Павловны были доставлены его листы в распакованном виде. Листов этих Иванов до сих пор не решался показать никому, кроме своего брата. Теперь в конторе лежала груда листов, и любопытные чиновники разглядывали эту небывалую еще контрабанду и отпускали в адрес творений художника свои замечания, вроде квартального в мастерской Черткова. Скоро по городу распространился слух, что художник собирается «выдать» свою иллюстрированную библию.
Время, проведенное Ивановым в Петербурге, было самое суматошное в его жизни. По случаю лета все, что в столице было именитого, находилось в своих загородных резиденциях, и потому каждый день нужно было куда-то в экипаже скакать или отправляться на пароходе, и всегда куда-то спешить, всегда волноваться, чтобы не опоздать. Там нужно было быть к званому обеду, здесь заехать на «чашку чаю», в третье место за получением бумаги, в четвертое — просто напомнить о себе. В глазах художника рябило от обилия новых лиц, которые проходили перед ним: здесь были важные и недоступные сановники и чиновники различных рангов, гофмаршалы и престарелые фрейлины, пронырливые секретари и лакеи в роскошных ливреях и множество всякого рода титулованных и нетитулованных особ, с каждым из которых. нужно было говорить соответственно его положению в свете и, главное, его собственному представлению о своем достоинстве.
Он видел, как, на параде по случаю освещения Исаакия звонко отбивали шаг полки за полками, над ними колыхались знамена, сверкали золотые ризы целой армии попов и архиереев, блистали мундиры, галуны, позументы, ордена стотысячной толпы — все это угнетало своей роскошью и пустым великолепием.
Ему запомнилось, как его призвали в Зимний для представления императору, как к крыльцу подкатил экипаж и из него вышел он сам в сопровождении свиты, как великий князь пропустил художника вперед, его удивило, что Александр подал ему руку и стал расспрашивать о картине, но особенно поразило его то, как придворные, не стесняясь присутствия художника, стали переговариваться шепотом между собой (он понял — о его судьбе), как будто он был какой-то марионеткой или неодушевленным предметом.
Однажды во дворце он решился высказать свое собственное мнение. Прямо в глаза президенту академии, великой княгине, он сказал, что не верит в возрождение византийского стиля, и заметил, что она вся вспыхнула от негодования при мысли, что кто-то стал ей перечить, от прежней ласковости ее не осталось и следа. В другой раз на него раскричался граф Гурьев. Иванов собирался явиться на церемонию с бородой, меж тем ни одному чиновнику носить бороды не полагалось. «Француз — другое дело», — повторял рассвирепевший граф и долго не мог успокоиться. Он готов был сделать художнику выговор, как за нарушение воинского артикула! Пора было понять, что в этой бездушной чиновной среде сам он, как человек и художник, ничего не значил.