洪武三年，明太祖朱元璋大封功臣，說：“善長雖無汗馬勞，然事朕久，給軍食，功甚大，宜進封大國。”(《明史·李善長傳》)

李善長被授開國輔運推誠守正文臣、特進光祿大夫、左柱國、太師、中書左丞相，封韓國公。在朱元璋加封的開國六大國公中，“善長位第一”，統兵征戰的徐達次之。而與李善長一樣為朱皇帝造反稱帝出謀劃策、運籌帷幄且決勝千里的劉伯溫，只得了一個誠意伯、御史中丞。

李善長與劉伯溫相比，確實不一樣。李善長雖不是進士出身，也非元朝官員，更沒有劉伯溫那么多神機妙算，但他也有不少真本事。他“少讀書有智計，習法家言，策事多中”。尤其他自薦追隨朱元璋以來，“為參謀，預機畫，主饋餉”，被朱元璋甚是親信。

朱元璋無論是做大元帥、中書省平章，還是稱吳王、做皇帝，都是以李善長為文官首臣。李善長“明習故事，裁決如流，又嫻于辭命”，為朱元璋的前線軍馬籌集糧草、兵餉，源源不斷，在后方總理日常事務、制定典章賦稅，都是一把好手。故，有人認為李善長之功，既有蕭何之能，也有張良之才。

李善長曾斟酌元制、去其弊端后，請求專賣兩淮之鹽，設立茶法，對加強百廢待興的明初財政，很有實效。他還逐步恢復制錢法，開礦冶鐵，制定魚稅，國家財富日益增長，百姓也不再貧困。

朱元璋登基后，開國大典，冊封大典，均由李善長為大禮使。朱元璋親征，李善長留守，“一切聽便宜行事”。朱元璋“定天下岳瀆神祗封號，封建諸王，爵賞功臣，事無巨細，悉委善長與諸儒臣謀議行之”。

朱元璋成了天下的主子，李善長做了真正的宰相，皇權和相權不斷博弈、沖突，朱元璋本想利用劉伯溫制衡李善長以及后來胡惟庸，但是未果，甚至突然暴卒，且涉及胡惟庸。

李善長“外寬和，內多忮刻”，日益自專，只要有人稍微冒犯他的權威，就定罪貶黜。掌管御史臺的劉伯溫依法力爭，李善長仍盛氣凌人，逼得劉伯溫“不自安，請告歸”。這些，也是大權力控的朱元璋洞察入微，尚待發酵。

洪武四年，李善長“以疾致仕”。朱元璋甚是慷慨，賜大量的土地、塚戶、佃戶、儀仗士，擢升李善長弟弟李存義為太仆丞，還把女兒嫁給李善長的兒子，封其為駙馬都尉，要公主在李家嚴守婦道。

李善長辭職，朱元璋先后封汪廣洋和李善長舉薦的胡惟庸都為右相。汪廣洋鑒于朱元璋與李善長的矛盾，事事請示皇帝，上書打壓前丞相：“善長狎寵自恣，陛下病不視朝幾及旬，不問候。駙馬都尉祺六日不朝，宣至殿前，又不引罪，大不敬。”看來離職不離京的李善長，對皇帝也不關心了，恃功而驕，就連皇帝大病十天不上朝這樣的大事件也不聞不問，就連其子做了皇家駙馬，也是皇帝宣進宮問安也不認錯。他們似乎認為朱元璋給與李家最隆重、最高規的恩賞，是在討好李善長，故不斷不收斂，反而更加驕縱。

朱元璋將原元帥府的令史汪廣洋擢升為右相，但能力有限，不久被后起之秀胡惟庸與老奸巨猾的李善長聯手弄走。汪廣洋看似對李、胡敬而遠之，但著實能耐不濟，不是對手。

李家父子如此對待朱元璋，朱元璋心里自然不舒服，削減了他一千八百石歲祿。汪廣洋不爭氣，沒出成績，朱元璋把他貶到廣東行省做參議，而要李善長重新出山，和朱元璋的外甥兼養子、曹國公李文忠總理中書省、大都督、府御史臺，同議軍國大政。善長雖老，做事仍有作為，幫忙打理御史臺，很快見成效。

胡惟庸成了獨立丞相。后來朱元璋把汪廣洋召回復職，胡惟庸升為第一丞相。胡惟庸是李善長帶出來頂上去的，能力不出眾，但善于隱瞞，擅長玩動作，讓朱元璋很惱火。但這個胡首相和李首相，關系很不一般，兩家也是姻親，李的侄兒是胡的侄女婿，兩人經常往來。朱元璋以謀反罪敲掉胡惟庸，有人告發李善長的弟弟、胡惟庸的姻親李存義父子是胡黨。

朱元璋大范圍打擊胡黨人士，但因李善長的關系就免李存義父子死罪，幽禁在崇明島。李善長也不謝恩，反而找湯和要三百兵士擴建府邸。這本來是小事，湯和膽小，借了但又出首李善長擅借兵士私用，朱元璋沒發作，但記住了這一筆賬。

不久，京城有一批罪犯被判流放戍邊，李善長幾次出面請免掉一個叫丁斌的。朱元璋本來對李善長就有了不少猜忌和惱怒，于是抓來丁斌審查，丁斌重提李存義與胡惟庸勾結。朱元璋重新把李存義下獄，李存義咬出李善長和胡惟庸謀反有牽連。

李存義的供詞說：“惟庸有反謀，使存義陰說善長。善長驚叱曰：‘爾言何為者！審爾，九族皆滅！’已，又使善長故人楊文裕說之云：‘事成當以淮西地封為王。’善長驚不許，然頗心動。惟庸乃自往說善長，猶不許。居久之，惟庸復遣存義進說，善長嘆曰：‘吾老矣。吾死，汝等自為之！’”

此狀一呈，看來李善長這個開國元勛、皇親國戚，對于胡惟庸意欲謀反是一清二楚的，但不報告給親家皇帝，甚至有利可圖封個一字并肩王，說不定李善長也會干。不忠不義，理應當誅。

李存義繼續說：“將軍藍玉出塞，至捕魚兒海，獲惟庸通沙漠使者封績，善長匿不以聞。”火上澆油，加速了禍事的爆發，

李善長壓住通敵信不報，暗放外敵使者封績。有了這一曲，無疑給胡惟庸謀反案及李善長知情不報，罪加一等。胡惟庸不僅結黨謀反，還里通外國，這是天理不容、罪不可赦。

不論是真是假，弟弟狀告哥哥縱容、隱匿胡惟庸謀反、私通外敵，同時被藍玉等邊關大將直接效忠，危及社稷江山，朱元璋對李善長唯有痛下殺手。

朱元璋立馬下旨，“遂并其妻女弟侄家口七十余人誅之”，這怎還才理會你李善長有多大的勛勞、是多親的國戚、享多高的殊榮。即便你有免死的鐵券丹書，也是一塊廢鐵。此案，只有李善長的長子李祺和臨安公主，被逐出京城，遠徙江浦，沒過多久病逝。李祺二子李芳、李茂，朱元璋的親外孫，因公主之故，得到恩免，沒有被殺，后來分別做了留守中衛指揮、旗手衛鎮撫，但被取消了襲爵韓國公的權利。

解縉曾代虞部郎中王國用為李善長鳴冤：“李善長與陛下同心，出萬死以取天下，勛臣第一，生封公，死封王，男尚公主，親戚拜官，人臣之分極矣。”

朱元璋要做掉李善長，應該說是由來已久，雖一直隱而不發，甚至經常恩賞重用，但他啟用對抗李善長的汪廣洋、楊憲，以及他在一段時間內靜待李善長舉薦的胡惟庸繼續專權，未必不是要坐實李善長不可饒恕、不予人口實的罪行。

當然，李善長之死，也是富貴至極而忘乎所以。《明史·李善長傳》說：“剖符開國，列爵上公，乃至富極貴溢，于衰暮之年自取覆滅。”

至李善長被處死，朱元璋的四大丞相都已斃命。野史說徐達死于朱元璋恩賞的燒鵝，而汪廣洋、胡惟庸和李善長都是死于朱元璋的明令之下，寫進了正史，朱元璋也不怕人說。早在洪武十三年胡惟庸被誅殺，朱元璋隨即撤除中書省，徹底結束了中國的宰相制度。

而朱元璋的大清洗，并沒有因為李善長的死而終結。僅有李案帶發的，有吉安侯陸仲亨、延安侯唐勝宗、平涼侯費聚、南雄侯趙庸、滎陽侯鄭遇春、宜春侯黃彬、河南侯陸聚等，都同時受胡惟庸牽連而死。此外，被牽連的還有已故的營陽侯楊璟、濟寧侯顧時等若干人。

朱元璋屠殺胡惟庸尤其是李善長，以及幫自己打天下的悍將們，也是為了后繼之君坐穩朱明江山考慮。他的太子朱標是一個儒家理想主義者，即便繼位也掌控不了淮西集團那幫元勛大佬、驕兵悍將。

他口稱要留罵名自己擔著，但也擔心天下罵他大肆屠殺功臣，故親自下詔羅列他們的罪狀，加在獄辭里面，纂成《昭示奸黨三錄》，印發多冊，布告天下。