Чиллингуорт сразу же обрушился на Эстер с упреками, но вместе с тем заявил о том, что сам частично повинен в ее трагедии, поскольку по-другому положение, в которое она попала, назвать нельзя. «В тот самый момент, когда мы, обвенчанные супруги, вместе сошли вниз по истертым церковным ступеням, — сказал он, — я мог бы различить зловещий огонь алой буквы, пылающий в конце нашего пути!»
На это Эстер заметила: «Я была с тобой честна. Я не любила тебя и не делала вид, что люблю».
Чиллингуорт согласился, но объяснил, что ему очень хотелось согреть ее теплом, которое она породила в его сердце. Не было никаких сомнений в том, что она изменила ему с другим мужчиной, и тем не менее Чиллингуорт сказал, что они оба причинили друг другу зло. «Я первый причинил его, — продолжал он, — когда вовлек твою расцветающую юность в противоестественный союз с моим увяданием… Мы с тобою квиты».
Несмотря на понимание со стороны супруга, Эстер отказалась назвать ему имя своего никому не известного любовника. Чиллингуорт поклялся его найти, скорее всего, для разоблачения как прелюбодея и обвинения его в этом преступлении. Вместе с тем он пообещал Эстер никому не говорить о том, что он ее супруг.
Через семь лет Эстер вышла из тюрьмы, так и не раскаявшись в своей запретной любви. Она даже мечтала о человеке, «с которым судьба уготовила ей соединение в этом союзе». Вскоре Эстер стала самой востребованной в колонии портнихой. Кроме того, она жертвовала еду и одежду беднякам, а также утешала страждущих и нуждавшихся в поддержке женщин.
Как и у большинства падших женщин, ее самым уязвимым местом был ребенок. Сограждане-пуритане Эстер обсуждали вопрос о том, можно ли разрешить такой женщине, как она, воспитывать Перл? Эстер в отчаянии обратилась за поддержкой к преподобному Димсдейлу, который заступился за нее перед властями колонии. Перл осталась с матерью.
Тем временем Чиллингуорт выяснил, что любовник Эстер — не кто иной, как хворавший и одинокий Димсдейл. «Этот человек, хоть и кажется истинно религиозным, унаследовал от отца или от матери сильную чувственную натуру, — думал он. — Надо бы разработать эту жилу!» Эстер не могла его остановить, и Чиллингуорт, под тем предлогом, что его беспокоит состояние здоровья Димсдейла, переехал к нему и поселился у него в доме как лечащий врач.
Как-то раз Эстер встретилась с Димсдейлом в лесу. Священник рассказал ей об отчаянии, которое испытывал при мысли о совершенных грехах, заметив, что Эстер счастлива: она открыто носит алую букву на груди. Его же алая буква пылает тайно! Эстер ответила, что грех его перестал быть тайной, потому что человек, который знает, что они когда-то были любовниками, живет с ним под одной крышей. Димсдейл пришел в ужас. «Месть этого старика ужаснее, чем мой грех, — с горечью сказал он. — Этот человек хладнокровно осквернил святыню человеческого сердца. Мы с тобой, Эстер, никогда не совершали подобного греха!»