1815年10月のある日、76歳のディーニュのミリエル司教の司教館を、46歳のひとりの男が訪れる。男の名はジャン・ヴァルジャン。貧困に耐え切れず、たった1本のパンを盗んだ罪でトゥーロンの徒刑場で19年も服役していた。行く先々で冷遇された彼を、司教は暖かく迎え入れる。しかし、その夜、大切にしていた銀の食器をヴァルジャンに盗まれてしまう。翌朝、彼を捕らえた憲兵に対して司教は「食器は私が与えたもの」だと告げて彼を放免させたうえに、二本の銀の燭台をも彼に差し出す。それまで人間不信と憎悪の塊であったヴァルジャンの魂は司教の信念に打ち砕かれる。迷いあぐねているうちに、サヴォワの少年プティ・ジェルヴェ(Petit-Gervais)の持っていた銀貨40スーを結果的に奪ってしまったことを司教に懺悔し、正直な人間として生きていくことを誓う。
1819年、ヴァルジャンはモントルイユ=シュル=メールで『マドレーヌ』と名乗り、黒いガラス玉および模造宝石の産業を興して成功をおさめていた。さらに、その善良な人柄と言動が人々に高く評価され、この街の市長になっていた。彼の営む工場では、1年ほど前からひとりの女性が働いていた。彼女の名前はファンティーヌ。パリから故郷のこの街に戻った彼女は、3歳になる娘をモンフェルメイユのテナルディエ夫妻に預け、女工として働いていた。
しかし、それから4年後の1823年1月、売春婦に身を落としたファンティーヌは、あるいざこざがきっかけでヴァルジャンに救われる。病に倒れた彼女の窮状を知った彼は、彼女の娘コゼットを連れて帰ることを約束する。実は、テナルディエは「コゼットの養育費」と称し、様々な理由をつけてはファンティーヌから金をせびっていた。それが今では100フランの借金となって、彼女の肩に重くのしかかっていた。