主人公冉阿讓曾經是壹個老實的工人，壹直在幫她可憐的妹妹撫養七個貧困的孩子。壹年冬天，他找不到工作。為了不讓自己的孩子餓死，他不得不偷了壹塊面包，因此被判了5年監禁。服刑期間，冉阿讓因不堪忍受獄中的痛苦，曾四次越獄，但最終都失敗了，刑期由五年增加到十九年。假釋後，罪犯的罪名永遠屬於冉阿讓。他找不到工作，甚至沒有地方住。即使做著同樣艱苦的工作，假釋犯的工資也只有其他人的壹半。
冉阿讓不願意這樣被欺負，心裏很不痛快。正當他灰心喪氣的時候，冉阿讓遇到了米利爾主教。米利爾主教是壹個善良、正直、富有同情心的人。他好心收留了冉阿讓，並在他自己家裏過了壹夜。但是冉阿讓絕望了，他以偷主教的銀器為生，準備潛逃。在路上，他又被警察抓住了，但危急時刻，善良的主教米利耶聲稱銀器不是冉阿讓偷的，是他自己送給他的，連銀燭臺也送給了他，從而避免了冉阿讓再次被捕。冉阿讓也受到這位主教的慷慨和愛心的影響，獲得了新的勇氣，決心從此除惡向善。之後，冉阿讓確實改名換姓，化名馬德琳，埋頭工作。命運也給了他在制作黑色小玻璃工藝品方面進行發明創造的機會，開始了他的創業。經過十年的努力，他成為了壹名成功的商人，並開始創業。成為百萬富翁後，他樂善好施，開辦福利事業，幫助喪偶者:他為濱海蒙特勒的窮人花費了壹百多萬元，建立托兒所，創造工人福利，開設免費藥房等等。他的善行贏得了大家的愛戴，最終成為了市長。
也是在這個時期，冉阿讓認識了芳汀，壹個妓女，壹個女工。美發的她壹口白牙，深情又天真。她真愛壹個大學生，把自己托付給了她，她失貞了，懷孕了。但這個大學生是個逢場作戲的輕佻孩子，對她很虛偽，很快就拋棄了她。芳汀生下女兒珂賽特後，不敢回家。壹次偶然的機會，她遇到了塔納迪爾阿姨。為了有時間賺錢，芳汀把女兒寄養在丁那迪爾家。這對夫婦實際上極其貪婪和庸俗。他們經營壹家小旅館，但是他們的生意很不好。事實上，他們同意帶走珂賽特是為了騙壹筆錢來還債。隨著小珂賽特的長大，夫妻倆想盡各種辦法要求芳汀多寄些生活費。她壹方面騙芳汀說女兒有多幸福，另壹方面又隨時隨地侮辱、辱罵、毆打小珂賽特。從小就讓她做家務，打掃房間、院子、街道，洗杯子、洗碗，甚至搬重物。總之，可憐的珂賽特在那裏受到了非人的待遇。
芳汀把女兒托付給丁那迪爾家，到濱海蒙特勒的壹家玻璃廠去工作，那家玻璃廠的老板是馬德蘭先生，也就是冉阿讓。芳汀來到工廠後，終於能夠自立了。她每個月都寫信寄錢給客棧老板泰納爾迪耶。她的美貌引起了當地許多惡婦的羨慕，她的行為也成為她們議論和懷疑的對象。終於有壹天，壹個叫維克多尼安夫人的女人發現了芳汀的過去，並揭露了她的私生女。廠長兼市長馬德琳知道這件事。他尊重社會習俗，給了芳汀五十法郎讓她離開。芳汀開始了她的悲慘經歷。她被解雇了，沒有人會再雇用她。她在別人家靠勞動無法養活自己和女兒，於是以10法郎的價格賣掉了自己的壹頭頭發，以40法郎的價格賣掉了兩顆門牙，最後淪為妓女和社會的奴隸。從前，壹個活潑的少女變得憔悴、多病、雙目失明，飽受社會歧視。
當瑪德琳得知芳汀的真情和悲慘遭遇時，她感到非常內疚，並被她深深感動，於是決定照顧好這對母女。有壹次，芳汀想搞個惡作劇，把雪球塞進她的衣服裏，但她奮起反抗，被警察韋嘉監禁了。馬德琳介入了。冉阿讓在獄中的警長哈維爾認為，罪人永遠是罪人。壹直在追冉阿讓的哈維爾認出了馬德蘭就是當年那個受刑的犯人。他寫信舉報，但無人理睬。馬德蘭先生把芳汀從城中救出後，帶她到工廠的醫務室去找人照顧，並立即寫信給丁納爾迪家，給他們寄去壹筆錢，讓他們送珂賽特去看她病重的母親。貪婪的夫妻倆壹拖再拖，以各種名義誘騙瑪德琳壹次次匯款。看到芳汀的病情越來越嚴重，瑪德琳非常著急。就在他為此心煩意亂的時候，另壹個擔心也隨之而來。
壹個名叫商馬第的當地老人正在作為冉阿讓受審，於是冉阿讓陷入了矛盾的鬥爭中:如果承認自己的身份，就會被逮捕，無法照顧芳汀母女；如果妳不承認，壹個無辜的人會厭倦自己，被捕入獄。良知最終戰勝了壹切，他毅然走上法庭，暴露了自己的真實身份。冉阿讓又被通緝了。當他來到芳汀家時，賈維斯帶人來逮捕他，芳汀被刺激致死。冉阿讓又壹次被投入監獄。
但不久以後，冉阿讓從監獄裏逃了出來，到孟費郿去找芳汀的孤女珂賽特。幾經周折，他終於找到了要在聖誕節去泉邊打水的珂賽特。跟隨女孩回到酒店後，他親眼目睹了女孩的悲慘生活，並立即從這對惡毒的夫婦手中救出了可憐的小珂塞斯。帶她去巴黎。為了逃避警察，冉阿讓把這個女孩帶到巴黎郊外的壹個修道院，在那裏把她撫養成人，他們兩人在那裏過著暫時平靜的生活。
好景不長，過了幾年，平靜的生活又開始騷動了。長大後的珂賽特在公園裏偶然遇到了有* * *有思想的青年馬呂斯，兩人壹見鐘情。馬裏烏斯最初受祖父吉爾·諾曼的影響，是壹個保皇派。他的父親波美西是拿破侖的寵臣，支持* * *並在滑鐵盧戰役中獲得男爵稱號。吉爾諾曼對他的女婿懷有敵意，不讓他見馬呂斯，否則他將被剝奪馬呂斯的繼承權。為了兒子的未來，波美西不得不忍氣吞聲，趁兒子在教堂的時候偷偷去探望他。臨終時，他給兒子留下遺囑，並告訴兒子真相。馬呂斯大吃壹驚，偷偷查閱書報，了解了父親的英雄事跡，終於改變了立場，離家出走，接觸了* * *和“ABC之友”的青年，不久也加入了他們，成為* * *和黨員。
起初，這位* * *和派來的青年並不知道他愛上的姑娘名叫珂賽特，也不知道和姑娘在壹起的那位先生就是冉阿讓。他找到了珂賽特的公寓，向她吐露了心事。他們經常幽會，但馬呂斯的祖父不同意這門親事，馬呂斯最後和祖父分手了。1832年6月，ABC全體成員參加起義。冉阿讓這時也知道了珂賽特和馬呂斯的愛情。收到馬呂斯的信後，他也來到街壘參加戰鬥。
在戰鬥中，冉阿讓釋放了被俘的警察局長哈維爾，並告訴他自己的地址。他的行為最終打動了韋嘉，讓他相信犯了錯誤的人會真正清醒過來，重新開始。戰鬥很激烈，許多士兵陣亡，馬呂斯受了重傷。冉阿讓把他從下水道裏救出險境，送到他爺爺家。但當時身負重傷的馬呂斯並不知道。他的祖父看到馬呂斯平安無事，同意他與珂賽特結婚。在他們結婚的第二天，冉阿讓把他壹生的經歷都告訴了馬呂斯。後者大吃壹驚，冷冷地看著他。連他辛辛苦苦養大的孤女都誤會他，離開了他。經過多年的自我犧牲，連和他相依為命的“女兒”都誤解了自己。傷心的冉阿讓變得抑郁，終日與孤獨相伴。
後來，壹次偶然的機會，馬呂斯意識到冉阿讓就是他壹直在尋找的救世主，急忙去接他壹起生活。但冉阿讓此時已奄奄壹息，最後死在珂賽特和馬呂斯的懷裏。