Эта поэма о судьбе людей в условиях деспотизма должна была произвести особенно сильное впечатление в момент своего появления. Картина Иванова создавалась в то время, когда многие русские люди, не смея открыто в этом признаться, все еще находились под впечатлением беспощадной жестокости, с которой Николай I расправился с декабристами. Многие ожидали, что в последний момент он откажется от казни, и поэтому весть о повешении пятерых вождей восстания произвела самое тягостное действие даже на тех людей, которые не желали видеть в Николае неисправимо жестокого тирана. Вряд ли в своей картине Иванов мог решиться изображением в настенном рельефе четырех казненных подданных фараона прямо намекать на жертвы николаевского террора. Но, как чуткий и правдивый художник, он не мог не отразить в своем творчестве то чувство гнева и возмущения, которое он испытывал тогда вместе со всеми честными русскими людьми.
Для Иванова, как для художника, работа над «Иосифом» была после «Приама» следующей ступенью в постижении человека, взаимоотношений людей. Там среди бывших заклятых врагов торжествует великодушие, уважение к отцовским чувствам — отсюда бодрый, светлый характер картины. Здесь безраздельно господствует бессмысленная жестокость, а между жертвами этой жестокости полная разобщенность. Иосиф выглядит в темнице посланцем из иного мира.
Атмосфера в Петербурге была в то время все еще достаточно накалена для того, чтобы правительству всюду мерещилась крамола. Недаром один из почитателей Пушкина, некий кандидат наук Леопольдов, поплатился годом заключения в остроге лишь за то, что у него обнаружили стихотворение Пушкина «Андрей Шенье», в котором, хотя оно и было «дозволено цензурой», кому-то почудился намек на декабрьские события. Хотя сюжет картины Иванова был предложен ему Советом академии и постоянно разрабатывался учащимися, нашлись злонамеренные люди, которые постарались оклеветать молодого художника перед начальством, уверяя, что картина эта содержит крамольные намеки и направлена против царского правительства. Над Ивановым нависла серьезная опасность: за такие проступки в то время ссылали в Сибирь.
Обстоятельства этого дела не нашли исчерпывающе полного отражения ни в официальных документах, ни в переписке. Но в связи с тем, что известно о характере Иванова и об его образе мыслей в дальнейшем, можно догадаться, что он не умел скрывать ни своих симпатий к борцам за свободу, ни своего отвращения к деспотизму. Ни для кого не было тайной, что в молодости своей и отец его Андрей Иванов отличался свободомыслием. Всякий легко мог предположить, что этот образ мыслей Ивановых стал их семейной традицией, и потому рельеф в картине Александра мог послужить для их недоброжелателей удобным поводом, чтобы состряпать донос на молодого художника.