1375年(洪武八年)，劉基雖然不良于行，仍然和所有在京官員一樣，參加元旦的早朝，隨后在奉天殿做了一首《乙卯歲早朝》，這雖屬于歌功頒德的應酬文字，但詩中仍可以看見劉基的心情。據說正月中旬，宋濂的門人劉剛來到劉基的住處，商請劉伯溫將宋濂一百多卷的作品，擇取精華部分編輯成書，以便誦讀，也請劉基為新書寫一篇序文。他毫不猶豫地答應了。正月下旬，劉基感染了風寒，朱元璋知道了之后，派胡惟庸帶了御醫去探望。御醫開了藥方，他照單抓藥回來煎服用，覺得肚子里好像有一些不平整的石塊擠壓在一起，讓他十分痛苦。

二月中，劉基抱病覲見朱元璋，婉轉的向他稟告胡惟庸帶著御醫來探病，以及服食御醫所開的藥之后更加不適的情形。朱元璋聽了之后，只是輕描淡寫的說了一些要他寬心養病的安慰話，這使劉基相當的心寒。三月下旬，已經無法自由活動的劉伯溫，由劉璉陪伴，在朱元璋的特遣人員的護送下，自京師動身返鄉。回家后，拒絕親人和鄉里為他找來的一切藥石，只是盡可能的維持正常的飲食。

幾天之后，劉基自知來日無多，找來兩個兒子交代后事。交代完后事時，又讓劉璉從書房拿來一本天文書，對他說：“我死后你要立刻將這本書呈給皇上，一點都不耽誤;從此以后不要讓我們劉家的子孫學習這門學問。”又對次子劉璟說：“為政的要領在寬柔與剛猛循環相濟。如今朝廷最必須做的，是在位者盡量修養道德，法律則應該盡量簡要。平日在位者若能以身做則，以道德感化群眾，效果一定比刑罰要好，影響也比較深遠，一旦部屬或百姓犯錯，也較能以仁厚的胸懷為對方設身處地的著想，所裁定的刑罰也必定能夠達到公平服人，和警惕人改過自新的目的;而法律若能盡量簡要，讓人民容易懂也容易遵守，便可以避免人民動輒得咎無所適從，又可以建立政府的公信力和仁德的優良形象，如此一來，上天便會更加佑我朝永命萬年。”

又繼續說道：“本來我想寫一篇詳細的遺表，向皇上貢獻我最后的心意與所學，但胡惟庸還在，寫了也是枉然。不過，等胡惟庸敗了，皇上必定會想起我，會向你們詢問我臨終的遺言，那時你們再將我這番話向皇上密奏吧！”最后于農歷四月十六卒于故里，享年六十五歲。六月，葬于鄉中夏中之原。

1513年(明武宗正德八年)，朝廷贈他為太師，謚號文成。1531年(明世宗嘉靖十年)，因刑部郎中李瑜的建言，朝廷再度討論劉基的功績，并決議劉伯溫應該和徐達等開國功臣一樣，配享太廟。