公元229年四月，吳王孫權正式即位稱帝。蜀漢大臣大多數認為孫權稱帝是僭號，要求跟東吳斷絕盟好關系。諸葛亮卻認為，蜀漢眼前主要對手是魏國。他堅持和東吳保持聯盟，繼續準備北伐。

公元231年，諸葛亮第四次北伐，出兵祁山。魏國派了一個大將司馬懿和張郃等一起率領人馬趕往祁山。諸葛亮把一部分將士留在祁山，自己率領主力攔擊司馬懿。

司馬懿知道諸葛亮的戰略。他認為諸葛亮孤軍深入，帶的軍糧不多，所以在險要的地方筑好營壘，叫將士只守不戰。

魏軍將領以為司馬懿害怕諸葛亮，一再請戰，說：“您怕蜀軍像害怕老虎一樣，難道不怕天下人笑話嗎？”

司馬懿硬著頭皮，帶兵趕上去跟諸葛亮大戰一場，結果被蜀軍殺得一敗涂地。但是蜀軍由于后方的運糧官員失職，糧草供應不上，只好主動撤兵。大將張郃帶兵緊緊追趕，趕到木門一帶山谷地帶，被諸葛亮預先布置好的伏兵用亂箭射殺了。

諸葛亮幾次出兵，往往因為糧食供應不上退兵。他接受這個教訓，設計了兩種運輸工具，叫做“木牛”、“流馬”(兩種經過改革的小車)，用它們把糧食運到斜谷口(在今陜西眉縣西南)囤積起來。

公元234年，諸葛亮作好充分準備，發動十萬大軍進行最后一次北伐。他派使者到東吳，約孫權同時發起攻勢，南北策應，使魏國兩面受敵。

諸葛亮大軍出了斜谷口，到了渭水南岸的五丈原。為了作長期打算，他派一部分兵士構筑營壘，準備作戰;另派一部分兵士在五丈原屯田，跟當地老百姓夾雜在一起耕種。蜀軍紀律嚴明，百姓和兵士相處得很好。

魏明帝派司馬懿率領魏軍渡過渭水，也筑起營壘防守，和蜀軍對峙著。

孫權接到諸葛亮的信，馬上三路出兵進攻魏國。魏明帝也厲害，他一面親自率領大軍到南面抵擋東吳的進攻;一面通知司馬懿在五丈原堅持，只守不戰。

諸葛亮等待東吳方面的消息，但是結果使他很失望：孫權的進攻失敗了。他想跟魏軍決戰，但是司馬懿始終穩守營壘，諸葛亮幾次三番向他挑戰沒有用。雙方在那里相持了一百多天。

要使魏軍出來打，只有想法子激怒司馬懿。諸葛亮利用當時輕視婦女的風俗，派人給司馬懿送去一套婦女的服飾。意思就是司馬懿這樣膽小怕戰，還是回去做個“閨房小姐”吧。

魏軍將士看到主將受到嘲弄，氣惱得嚷著要跟蜀軍拼。司馬懿知道這是諸葛亮的激將法，并不發火。他安慰將士說：“好，我向皇上上個奏章，請求準許我們跟蜀軍決戰一場。”

過了幾天，魏明帝派了一個大臣趕到魏營，傳達命令，不許出戰。

蜀軍將士聽到消息，感到失望。只有諸葛亮懂得司馬懿的用意，說：“司馬懿上奏章請求打仗，這是做給將士們看的。要不然，大將率領軍隊在外，哪有千里迢迢去請戰的道理。”

諸葛亮料到司馬懿的心理，司馬懿也在探聽諸葛亮的情況。有一次，諸葛亮派使者到魏營去挑戰，司馬懿挺有禮貌地接待使者，跟使者聊天，說：“你們丞相公事一定很忙吧。

近來身體可好？胃口怎么樣？”

使者覺得司馬懿問的都是些客套話，也就老實回答說：“丞相的確很忙，軍營里大小事情都要親自抓。他起得早，睡得很晚。只是近來胃口不好，吃得很少。”

使者走了以后，司馬懿就跟左右將士說：“你們看，諸葛孔明吃得少，事務又那么繁重，能支撐得長久嗎？”

不出司馬懿所料，諸葛亮由于過度辛勞，終于在軍營里病倒了。

后主劉禪得到諸葛亮生病的消息，趕快派大臣李福到五丈原來慰問。李福跟諸葛亮談了一些軍國大事，就走了。

過了幾天，李福返了回來。他看到諸葛亮病勢轉重，哭了起來。諸葛亮睜開眼睛，對李福說：“我懂得您回來想問些什么。您所要問的人，我看就是蔣琬吧。”

李福說：“丞相說的是。皇上正要我問丞相萬一身子不好，由誰來繼任您的工作。那末請問蔣琬之后，誰可以繼任呢？”

諸葛亮說：“可以由費袆(音yī)接替。”

李福還想再問下去，諸葛亮閉上眼睛不回答了。沒幾天，這個年紀才五十四歲的丞相終于在軍營里去世。

按照諸葛亮生前的囑咐，蜀軍將領沒有把他去世的消息透露出去。他們把尸體裹著放在車里，布置各路人馬有秩序地撤退。

魏營的探子聽到諸葛亮病死的風聲，報告司馬懿。司馬懿立刻帶領魏軍追趕上去，剛過五丈原，忽然蜀軍的旗幟轉了方向，一陣戰鼓響，兵士們轉身掩殺過來。

司馬懿大吃一驚，趕快撥轉馬頭，下命令撤退。

蜀軍將領等魏軍離得遠了，不慌不忙地把全部人馬安全撤出五丈原。

這件事傳到老百姓耳朵里，百姓編個歌謠嘲笑司馬懿，說：“死諸葛嚇走了活仲達(仲達是司馬懿的字)！”

司馬懿聽了也不生氣，說：“我只能料到活的諸葛，怎么能料到死的呢！”后來，他又親自跑到蜀軍原來扎營的地方，觀察了諸葛亮布置的陣勢，贊嘆悅：“諸葛孔明真是天下奇才啊！”

諸葛亮想統一中原的愿望并沒有實現，但是他的智慧和品格，一直被后代的人贊揚。在民間傳說中，諸葛亮往往成為智慧的化身。在一篇相傳是他寫的《后出師表》里，有兩句話，叫做“鞠躬盡瘁(原文是‘盡力’，后來寫成‘盡瘁’，瘁音cuì)，死而后已”，人們認為這正是對他一生的評價。