司馬炎素有滅吳統一中國的大志，於是任命羊祜爲荊州各路軍馬的都督。晉國的荊州與吳國的荊州是兩國最長的邊界地，因而也是晉要滅吳最關鍵的地方。羊祜自任荊州最高長官後，整頓吏治，加強戰備，特別是對東吳軍民採取懷柔政策，爲晉滅吳奠定了堅實的基礎，成就了協助司馬炎統一中國的豐功偉業。
羊祜用計使吳國撤去了駐石城的守軍。石城距襄陽700餘里，吳國原有大量駐軍，這些吳軍經常騷擾晉國邊境。吳國中了羊祜之計撤走駐軍後，羊祜就將自己的部隊分成了兩部分，一部分戍邊，一部分墾田。羊祜的這一舉措收效顯著。羊祜初到荊州時，軍無百日之糧。墾田之後的兩三年間，所收糧食可供10年之用。
羊祜對屬下不擺架子。他有一個習慣，就是喜歡着便裝，只帶上十幾個親信外出打獵或釣魚，並常常因爲這些活動耽誤了政事。有一晚，他又準備如此外出，不料軍司(即軍師，晉避司馬師之諱改師爲司)徐胤卻手執武器擋在營門口，嚴肅地說：將軍您都督萬里，怎麼可以如此輕率地丟下肩上重任呢?您的安危，就是國家的安危。今天除非徐胤死在這兒，否則這道門您是出不去的!羊祜沒有因徐胤掃了自己的面子而發脾氣，相反，他立即誠懇地向徐胤道謝，從此就很少外出了。
吳國著名的將領陸抗，終於讓一向一帆風順的羊祜遭受了一次挫折。
羊祜返還襄陽，吳國西陵都督步闡準備獻城投降。此時，吳國已任命陸抗爲吳國的荊州統帥。陸抗是曾大敗過劉備的東吳名將陸遜的次子，是個了不起的軍事家。得知步闡要降，陸抗立即領兵攻打。晉武帝下詔命羊祜去救步闡。羊祜接到命令後，率領5萬人馬從江陵出發，並派荊州刺史楊肇先行攻打陸抗。楊肇未攻下陸抗，步闡及其手下被陸抗生擒後誅殺，並被滅了三族。有關官員立即上表彈劾羊祜，說他統領的軍隊有8萬之多，而對方不過3萬，羊祜受命後卻屯兵江陵，使得吳軍能夠充分備戰，他命令楊肇領軍進攻，但楊肇兵少糧食也不足，導致失敗，因此，羊祜應免官。奏書上去後，羊祜被降爲平南將軍，楊肇則被廢爲庶人。
羊祜這次受挫，讓他清醒地認識到，吳國有陸抗這樣優秀的將領，軍事力量還很強大，因此，滅吳不是朝夕間的事。於是，他加緊了對吳國軍事蠶食與懷柔並舉的政策實施。
羊祜在懷柔上下的功夫更大。他和吳國交兵，總是事先講定作戰時間，絕不搞突然襲擊。若有部下建議他搞突然襲擊，他就會用酒將那部下灌醉，讓他再說不出話。有部下俘獲了兩個吳國小孩，羊祜馬上命令送回去。後來，吳國將領夏詳、邵顗等來投降，那兩個小孩的父親也跟來了。吳將陳尚、潘景引兵來犯，戰敗被羊祜追擊斬殺。羊祜以這兩位將領是爲國而死，於是以禮厚殮。陳尚、潘景的兒子來領他們父親的遺體，羊祜以相應的禮節送還。吳將鄧香帶兵侵掠夏口被俘，羊祜把他放了。鄧香感恩，率自己的部下來降。羊祜領兵到吳地收割莊稼，但不白拿，總以相應的絹作抵償。羊祜率衆打獵，不出晉地，若打到的獵物先爲吳國人所傷，他一定將獵物送還吳人。羊祜這樣做的結果，是深得吳人的信服。吳人尊稱他爲羊公，而不叫他的名字。
羊祜和陸抗兩位敵對的統帥還建立了良好的私人關係。他們之間常有書信往來。陸抗很尊重羊祜，認爲羊祜的才德，就是樂毅、諸葛亮也未必能超過。陸抗生病，羊祜得知病情後，立即送來藥。部下勸陸抗不要吃，擔心有毒。陸抗說，羊祜豈是那種害人的人，坦然將藥服下。
羊祜病情加重後，推薦杜預代替自己。晉武帝咸寧四年(278年)，羊祜因病逝世，享年58歲。當天正值大寒，晉武帝身着素服痛哭，流到鬍鬚上的眼淚竟結成了冰。百姓聞其逝世，皆罷市，四處哭聲一片。
羊祜逝世兩年之後，杜預率軍滅掉吳國。慶功會上，晉武帝流着淚說：能夠滅吳，是羊太傅(羊祜官至太傅)的功勞啊!
