Hoofdstuk  III: Het weerzienxml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

Vanop het verhoog ziet Hester tussen de menigte een man die ze herkent. Hij stelt vragen aan een omstaander. Zo vernemen we hoe Hester in schande is vervallen. Ze was de echtgenote van een oude Engelse geleerde die haar vooruit had gestuurd naar Amerika. Sinds twee jaar was er niets meer van hem vernomen. Hester is toen bezweken voor een andere man, van wie ze nu een kind heeft en van wie ze de naam niet wil prijsgeven. Het was beter hier te staan, met zoveel mensen tussen hem en haar, dan hem van aangezicht tot aangezicht en onder vier ogen te ontmoeten.

Achter haar op het balkon staan de gouverneur Bellingham, de oude predikant John Wilson en de jonge dominee Dimmesdale. Deze laatste moet trachten Hester ervan te overuigen de naam van de verleider mee te delen. Hij houdt een heel persoonlijk betoog en smeekt Hester om de naam te noemen. Het is duidelijk dat hijzelf de boosdoener is. Haar antwoord is ‘Nooit’.

Hoofdstuk IV: De ontmoeting

Hester keert terug naar de gevangenis. Ze is echter zo overspannen dat er een dokter moet worden bijgehaald. Het is de man die ze had herkend in de menigte, Roger Chillingworth, haar vroegere echtgenoot. Ook hem wil ze de naam van haar verleider niet meedelen. Hij verzoekt haar om ook zijn identiteit geheim te houden. Hij zegt zelf te zullen uitzoeken wie zich aan haar vergrepen heeft. Hij zint op wraak. Hester heeft schrik dat hij haar met het medicijn wil vergiftigen, maar hij wil haar net in leven houden, opdat ze de schande haar hele leven zal dragen.

Hoofdstuk V: Hester en haar handwerk

Hester wordt vrijgelaten. Ze ziet opnieuw de zon, maar deze schenkt geen troost, integendeel, ze doet de letter op haar borst nog beter uitkomen. Zoals in het vorige hoofdstuk, toen haar echtgenoot zijn vinger op haar borst legde en ze de rode letter in haar borst voelde schroeien.

En ook hier laat de auteur geen hoop. Want alle tot jaren aangegroeide dagen zouden haar schande en ellende niet verminderen, maar de som ervan vergroten. Ze zou ook haar persoonlijkheid verliezen en verworden tot een figuur, die de dominees en zedenprekers als symbool van vrouwelijke zwakheid en zondige hartstocht konden stellen. Hoewel ze de wereld zou kunnen intrekken, blijft ze op de plek van haar onheil. Om boete te doen, maar misschien ook om in de buurt te blijven van de vader van haar kind.

Ze gaat in een afgelegen huisje wonen. Ze houdt zich in leven met het maken van handwerkjes, waarin ze uitmunt. Voor iedereen, soldaten, hoogwaardigheidsbekleders, doden, behalve voor jonggehuwden.

Soms heeft ze de indruk dat de letter haar een nieuw zintuig heeft gegeven. Een waarmee ze de geheime zonden in de harten van anderen kon ontdekken. Ze vreest dat het een list van de Boze is.