司馬炎素有滅吳統一中國的大志，于是任命羊祜為荊州各路軍馬的都督。晉國的荊州與吳國的荊州是兩國最長的邊界地，因而也是晉要滅吳最關鍵的地方。羊祜自任荊州最高長官后，整頓吏治，加強戰備，特別是對東吳軍民采取懷柔政策，為晉滅吳奠定了堅實的基礎，成就了協助司馬炎統一中國的豐功偉業。

羊祜用計使吳國撤去了駐石城的守軍。石城距襄陽700余里，吳國原有大量駐軍，這些吳軍經常騷擾晉國邊境。吳國中了羊祜之計撤走駐軍后，羊祜就將自己的部隊分成了兩部分，一部分戍邊，一部分墾田。羊祜的這一舉措收效顯著。羊祜初到荊州時，軍無百日之糧。墾田之后的兩三年間，所收糧食可供10年之用。羊祜對屬下不擺架子。他有一個習慣，就是喜歡著便裝，只帶上十幾個親信外出打獵或釣魚，并常常因為這些活動耽誤了政事。有一晚，他又準備如此外出，不料軍司（即軍師，晉避司馬師之諱改師為司）徐胤卻手執武器擋在營門口，嚴肅地說：將軍您都督萬里，怎么可以如此輕率地丟下肩上重任呢？您的安危，就是國家的安危。今天除非徐胤死在這兒，否則這道門您是出不去的！羊祜沒有因徐胤掃了自己的面子而發脾氣，相反，他立即誠懇地向徐胤道謝，從此就很少外出了。吳國著名的將領陸抗，終于讓一向一帆風順的羊祜遭受了一次挫折。

羊祜返還襄陽，吳國西陵都督步闡準備獻城投降。此時，吳國已任命陸抗為吳國的荊州統帥。陸抗是曾大敗過劉備的東吳名將陸遜的次子，是個了不起的軍事家。得知步闡要降，陸抗立即領兵攻打。晉武帝下詔命羊祜去救步闡。羊祜接到命令后，率領5萬人馬從江陵出發，并派荊州刺史楊肇先行攻打陸抗。楊肇未攻下陸抗，步闡及其手下被陸抗生擒后誅殺，并被滅了三族。有關官員立即上表彈劾羊祜，說他統領的軍隊有8萬之多，而對方不過3萬，羊祜受命后卻屯兵江陵，使得吳軍能夠充分備戰，他命令楊肇領軍進攻，但楊肇兵少糧食也不足，導致失敗，因此，羊祜應免官。奏書上去后，羊祜被降為平南將軍，楊肇則被廢為庶人。

羊祜這次受挫，讓他清醒地認識到，吳國有陸抗這樣優秀的將領，軍事力量還很強大，因此，滅吳不是朝夕間的事。于是，他加緊了對吳國軍事蠶食與懷柔并舉的政策實施。羊祜在懷柔上下的功夫更大。他和吳國交兵，總是事先講定作戰時間，絕不搞突然襲擊。若有部下建議他搞突然襲擊，他就會用酒將那部下灌醉，讓他再說不出話。有部下俘獲了兩個吳國小孩，羊祜馬上命令送回去。后來，吳國將領夏詳、邵顗等來投降，那兩個小孩的父親也跟來了。吳將陳尚、潘景引兵來犯，戰敗被羊祜追擊斬殺。羊祜以這兩位將領是為國而死，于是以禮厚殮。陳尚、潘景的兒子來領他們父親的遺體，羊祜以相應的禮節送還。吳將鄧香帶兵侵掠夏口被俘，羊祜把他放了。鄧香感恩，率自己的部下來降。羊祜領兵到吳地收割莊稼，但不白拿，總以相應的絹作抵償。羊祜率眾打獵，不出晉地，若打到的獵物先為吳國人所傷，他一定將獵物送還吳人。羊祜這樣做的結果，是深得吳人的信服。吳人尊稱他為羊公，而不叫他的名字。

羊祜和陸抗兩位敵對的統帥還建立了良好的私人關系。他們之間常有書信往來。陸抗很尊重羊祜，認為羊祜的才德，就是樂毅、諸葛亮也未必能超過。陸抗生病，羊祜得知病情后，立即送來藥。部下勸陸抗不要吃，擔心有毒。陸抗說，羊祜豈是那種害人的人，坦然將藥服下。羊祜病情加重后，推薦杜預代替自己。晉武帝咸寧四年（278年），羊祜因病逝世，享年58歲。當天正值大寒，晉武帝身著素服痛哭，流到胡須上的眼淚竟結成了冰。百姓聞其逝世，皆罷市，四處哭聲一片。羊祜逝世兩年之后，杜預率軍滅掉吳國。慶功會上，晉武帝流著淚說：能夠滅吳，是羊太傅（羊祜官至太傅）的功勞啊！