公元前99年(天漢二年)，李陵出擊匈奴，兵敗投降，漢武帝大怒。司馬遷為李陵辯護，觸怒了漢武帝，獲罪被捕，被判宮刑。“人固有一死，或重于泰山，或輕于鴻毛，用之所趨異也。”(《報任安書》)為了完成父親遺愿，司馬遷含垢忍辱忍受“宮刑”。公元前96年(太始元年)，獲赦出獄，做了中書令，掌握皇帝的文書機要。他發憤著書，全力寫作《史記》，大約在他55歲那年，終于完成了全書的撰寫和修改工作。司馬遷以其“究天人之際，通古今之變，成一家之言”的史識，成就了《史記》——中國歷史上第一部紀傳體通史。

大臣們都譴責李陵不該貪生怕死，向匈奴投降。漢武帝問太史令司馬遷，聽聽他的意見。司馬遷說：“李陵帶去的步兵不滿五千，他深入到敵人的腹地，打擊了幾萬敵人。雖然打了敗仗，可是殺了這么多敵人，也可以向天下人交代了。李陵不肯馬上去死，準有他的主意。他一定還想將功贖罪來報答陛下。”

武帝聽了，認為司馬遷這樣為李陵辯護，有意貶低李廣利(李廣利是漢武帝寵妃李夫人的哥哥)，便勃然大怒，說：“你這樣替投降敵人的叛徒強辯，是不是存心反對朝廷？”便把司馬遷下了監獄，交給廷尉處理。司馬遷被關進監獄以后，案子落到了當時臭名昭著的酷吏杜周手中，杜周嚴刑審訊司馬遷，司馬遷忍受了各種肉體和精神上的殘酷折磨。面對酷吏，他始終不屈服，也不認罪。司馬遷在獄中反復不停地問自己：“這是我的罪嗎？這是我的罪嗎？我一個做臣子的，就不能發表點意見？”不久，有傳聞說李陵曾帶匈奴兵攻打漢朝。漢武帝信以為真，便草率地處死了李陵的母親、妻子和兒子。司馬遷也因此事被判了死刑。

第二年漢武帝殺了李陵全家，處司馬遷死刑。但是漢朝的死刑要免死的話可以接受兩條路，要不交50萬錢，要不接受宮刑，宮刑是個奇恥大辱，污及先人，見笑親友。

司馬遷被關進監獄以后，案子落到了當時名聲很臭的酷吏杜周手中，杜周嚴刑審訊司馬遷，司馬遷忍受了各種肉體和精神上的殘酷折磨。面對酷吏，他始終不屈服，也不認罪。司馬遷在獄中反復不停地問自己“這是我的罪嗎？這是我的罪嗎？我一個做臣子的，就不能發表點意見？”不久，有傳聞說李陵曾帶匈奴兵攻打漢朝。漢武帝信以為真，便草率地處死了李陵的母親、妻子和兒子。司馬遷也因此事被判了死刑。

據漢朝的刑法，死刑有兩種減免辦法：一是拿五十萬錢贖罪，二是受“腐刑”。當時司馬遷官小家貧，只好“腐刑”贖罪。(這里說的“腐刑”就是指司馬遷下身被閹割)，服刑后終才保全了性命。

后來司馬遷在《報任少卿書》中提及此事中說道：“遭遇此禍，重為鄉黨所戳笑，以污辱先人，亦何面目復上父母之丘墓乎，雖累百世，垢彌甚耳，是以腸一日而九回，居則忽忽若有所亡，出則不知其所往，每念斯恥，汗未嘗不發背沾衣也。”在獄中，又備受凌辱，“交手足，受木索，暴肌膚，受榜棰，幽于圜墻之中，當此之時，見獄吏則頭搶地，視徒隸則心惕息”(司馬遷《報任安書》)。幾乎斷送了性命。他本想一死，但想到自己多年搜集資料，說：“人固有一死，或重于泰山，或輕于鴻毛。” 要寫部有關歷史書的夙愿，因此為了完成《史記》的寫作，忍辱負重，希望出現一線轉機。司馬遷認為受腐刑是一件很丟臉的事，他幾乎想自殺。但他想到自己有一件極重要的工作沒有完成，不應該死。因為當時他正在用全部精力寫一部書，這就是我國古代最偉大的歷史著作——《史記》。

原來，司馬遷的祖上好幾輩都擔任史官，父親司馬談也是漢朝的太史令。司馬遷十歲的時候，就跟隨父親到了長安，從小就讀了不少書籍。為了搜集史料，開闊眼界，司馬遷從二十歲開始，就游歷祖國各地。他到過浙江會稽，看了傳說中大禹召集部落首領開會的地方;到過長沙，在汨羅江邊憑吊愛國詩人屈原;他到過曲阜，考察孔子講學的遺址;他到過漢高祖的故鄉，聽取沛縣父老講述劉邦起兵的情況……這種游覽和考察，使司馬遷獲得了大量的知識，又從民間語言中汲取了豐富的養料，給司馬遷的寫作打下了重要的基礎。以后，司馬遷當了漢武帝的侍從官，又跟隨皇帝巡行各地，還奉命到巴、蜀、昆明一帶視察。

司馬談死后，司馬遷繼承父親的職務，做了太史令，他閱讀和搜集的史料就更多了。在他正準備著手寫作的時候，就為了替李陵辯護得罪武帝，下了監獄，受了刑。他痛苦地想：這是我自己的過錯呀！我受了刑，身子毀了，沒有用了。但是他又想：從前周文王被關在羑里，寫了一部《周易》;孔子周游列國的路上被困在陳蔡，后來編了一部《春秋》;屈原遭到放逐，寫了《離騷》;左丘明眼睛瞎了，寫了《國語》;孫臏被剜掉膝蓋骨，寫了《兵法》。還有《詩經》三百篇，大都是古人在心情憂憤的情況下寫的。這些著名的著作，都是作者心里有郁悶，或者理想行不通的時候，才寫出來的。我為什么不利用這個時候把這部史書寫好呢？

于是，他把從傳說中的黃帝時代開始，一直到漢武帝太始二年(公元前95年)為止的這段時期的歷史，編寫成一百三十篇、五十二萬字的巨大著作《史記》。司馬遷在他的《史記》中，對古代一些著名人物的事跡都作了詳細的敘述。他對于農民起義的領袖陳勝、吳廣，給予高度的評價;對被壓迫的下層人物往往表示同情的態度。他還把古代文獻中過于艱深的文字改寫成當時比較淺近的文字。人物描寫和情節描述，形象鮮明，語言生動活潑。

司馬遷寫的《史記》，不僅內容翔實可靠并且文字生動優美，文字寫的栩栩如生，因此也是一部了不起的文學著作。因此，《史記》是一部偉大的歷史著作。公元前96年(太始元年)漢武帝改元大赦天下。這時司馬遷50歲，出獄后當了中書令，在別人看來，也許是“尊寵任職”，但是，他還是專心致志寫他的書。直到公元前91年(征和二年)，《史記》全書完成，共得130篇，52萬余字