La letra escarlata empieza cuando Hester es liberada de la cárcel brevemente para que puedan desfilarla por la aldea y ponerla en el patíbulo del pueblo para que todos vean la "A". Lleva a su hija, Pearl, en sus brazos. Pearl nació en la cárcel. Hester rehúsa revelar el nombre del padre de Pearl para que él no pueda ser castigado también.
El esposo de Hester Prynne llega durante el desfile por el pueblo. La visita en la cárcel antes de que la dejen irse y le pide que no diga a nadie que está en la aldea. Pretende disfrazarse para poder descubrir al amante de su esposa y vengarse de él.
El marido de Hester les dice a los ciudadanos que es médico y adopta un nombre falso: Roger Chillingworth. Hester guarda su secreto. Dentro de poco, Chillingworth se da cuenta de que el pastor, el reverendo Arthur Dimmesdale, es probablemente el padre de la hija de Hester y atormenta la mente y el alma del pastor día y noche durante los próximos siete años.
El pastor tiene demasiado miedo para confesar su pecado públicamente pero los remordimientos de consciencia lo comen. Las constantes preguntas de Chillingworth lo ponen muy nervioso. Pasan siete años y, por fin, Hester se da cuenta del mal que su esposo ha hecho al hombre que ama, al padre de su hija. Revela la identidad verdadera de Chillingsworth a Dimmesdale y los dos inventan un plan para salir de Boston e ir a Inglaterra, donde pueden esconderse del esposo de Hester y hacer una nueva vida juntos.
Al final, el pastor no puede ejecutar el plan. Dimmesdale confiesa su pecado a los ciudadanos en el patíbulo que hace siete años fue el escenario de la vergüenza pública de Hester. Su último acto es abrir su camisa para revelar la "A" escarlata que grabó en su pecho. Dimmesdale halla la paz a través de la confesión.
Cuando Chillingworth muere aproximadamente un años después de su rival Dimmesdale, deja todo su dinero y su propiedad a Pearl. Por fin, Hester y Pearl pueden dejar la comunidad donde han sido parias durante tanto tiempo y regresar al viejo mundo (Inglaterra). Sin embargo, muchos años después, Hester vuelve al pueblo de Nueva Inglaterra que era el lugar de su vergüenza y retoma la letra escarlata voluntariamente.
Al morirse, la entierran cerca del pastor y comparten una lápida. La lápida tiene un imagen que se describe así: "On a field, sable, the letter A, gules." ["En un campo, sable, la letra 'A', gules"]. Es decir, en la lápida hay una "A" escarlata en un fondo negro.
