羊祜，字叔子，山東費縣人。他出生在一個顯赫的官宦之家，母親系出名門，是漢末文化巨人蔡邕的女兒。曹魏末期，朝廷上兩大勢力對峙。一是以曹爽為首的曹氏集團，一是以司馬懿為首的司馬氏集團。當時曹爽要他出來做官，然而，羊祜已看出曹爽不是司馬懿的對手，于是委婉地拒絕了。后來，曹爽被司馬懿誅殺，羊祜的老丈人夏侯霸因與曹爽親近，不得不投到蜀漢避禍。在這種時候，羊祜不僅沒有和夏侯霸斷絕關系，相反，對夏侯霸留下的家眷比以前照顧得更好。

魏末，司馬昭以朝廷的名義征召他，拜黃門郎(皇帝近臣，應對顧問)。羊祜在朝中處事公平正直，不搞親疏，不結派，因此，在司馬氏代魏前，他被司馬炎安排掌管御林軍。這時的羊祜，已經成為司馬氏集團的核心成員。公元265年，司馬炎終于給曹魏政權畫了句號，受禪稱帝。司馬炎稱帝后，因羊祜幫助他當上皇帝的功勞大，封羊祜為郡公。司馬炎素有滅吳統一中國的大志，于是任命羊祜為荊州各路軍馬的都督。羊祜任荊州最高長官后，加強戰備，羊祜初到荊州時，軍無百日之糧。墾田之后的兩三年間，所收糧食可供20年之用。

然而，吳國名將陸抗，終于讓一帆風順的羊祜遭受了一次挫折。陸抗是曾大敗過劉備的東吳名將陸遜的次子，是個了不起的軍事家。得知步闡要降，陸抗立即領兵攻打。晉武帝下詔命羊祜去救步闡。羊祜接到命令后，率領5萬人馬從江陵出發，派荊州刺史攻打陸抗。未攻下陸抗，大敗而歸。官員立即上表彈劾羊祜，說他統領的軍隊有 8 萬之多，而對方不過 3萬，因此，羊祜應免官。奏書上去后，羊祜被降為平南將軍。

羊祜這次受挫，讓他清醒地認識到，吳國有陸抗這樣優秀的將領，軍事力量還很強大，于是，羊祜占據險要之地，筑了 5座城池。同時，他密令深諳水軍之道的益州刺史王浚打造戰船，作好順流伐吳的準備。在懷柔政策上，羊祜和吳國交兵，總是事先講定作戰時間，絕不搞突然襲擊。羊祜領兵到吳地收割莊稼，但不白拿，總以相應的絹作抵償。羊祜這樣做的結果，使吳人尊稱他為羊公。

羊祜和陸抗兩位敵對的統帥還建立了良好的私人關系。他們之間常有書信往來。陸抗很尊重羊祜，認為羊祜的才德，就是樂毅、諸葛亮也未必能超過。陸抗生病，羊祜得知病情后，立即送來藥。部下勸陸抗不要吃，擔心有毒。陸抗說，羊祜豈是那種害人的人，坦然將藥服下。

在做好充分的備戰工作后，羊祜上表晉武帝，請求伐吳。然而，當時晉國正遭受北方敵國的侵擾，伐吳之事只得作罷。羊祜離開襄陽回朝時，已經染病，晉武帝給了他很高的禮遇，讓他可乘轎進殿。后因其病重，要他不必入朝，他借機對晉武帝說，吳主孫皓殘暴，已喪失了民心軍心。若失去這個機會，孫皓一旦死了，吳國換上有作為的新主，那時再來滅吳就會很困難了。武帝同意羊祜所言，并希望他能帶病指揮。羊祜說，滅吳不一定要我親自指揮。

羊祜推薦杜預代替自己。公元278 年，羊祜因病逝世，享年 58歲。當天正值大寒，晉武帝身著素服痛哭，流到胡須上的眼淚竟結成了冰。百姓聞其逝世，皆罷市，四處哭聲一片，民間奉羊祜為“戰神”和“藥神，香火不斷。羊祜逝世兩年之后，杜預率軍滅掉吳國。慶功會上，晉武帝流著淚說：能夠滅吳，是羊太傅(羊祜官至太傅)的功勞啊！