晋武帝司马炎想要消灭吴。泰始五年(公元269 年)二月，任命尚书左仆射羊祜统领荆州各项军事，镇守襄阳;任命征东大将军卫瓘统领青州各项军事，镇守临;任命镇东大将军、东莞王司马伯统领除州各项军事，镇守下邳。
羊祜关心爱护远近的百姓，在江、汉地区很得人心。羊祜减少守卫巡逻的士兵，让他们开垦了八百多顷农田。他刚到那里的时候，军队的粮食不够吃一百天，到了后期，已经积蓄了够吃十年的粮食。羊祜在军中，经常穿着宽松轻薄的裘皮衣服，并不穿戴铠甲。他居住的地方，侍卫也不过十几人。
晋泰始八年(公元272年)十二月，羊祜去江陵接应东吴投降的步阐，没有成功，被贬为平南将军。回来以后，他致力于修明德信，以使吴人归顺。每次与东吴交战，都要约好日期才开战，不会突然袭击。将帅当中想要进献诡计的人，羊祜总是给他喝醇厚的美酒，让他喝醉不能说话。羊祜的军队出行经过吴境，割取谷子当做口粮，全都记下数量，然后送回等值的绢帛补偿主人。每次与部下一起在长江、沔水一带打猎，总是只限于晋的领地，如果飞禽走兽先被吴人打伤，然后被晋兵得到的，都要送还吴人。于是东吴边境的百姓对羊祜心悦诚服。
羊祜与东吴大将陆抗在边境对峙，双方的使者常常互相来往。陆抗送给羊祜的酒，羊祜喝起来从不怀疑;陆抗生病，向羊祜求药，羊祜把成药送给他，陆抗也立刻服下。许多人劝阻他，陆抗说：“羊祜怎么会用毒杀人?”陆抗对守边的士兵说：“别人专门行恩惠，我们专门为暴虐，这样就等于还没打仗，自己就已经屈服了。现在双方各自保住边界就可以了，我们别想占什么小便宜。”孙皓听说双方边境互相和好，就责问陆抗，陆抗说：“一邑一乡都不可以不讲信义，更何况大国呢?我如果不这样做，正是彰显羊祜的恩惠，对羊祜丝毫也没有损伤。”
羊祜从不攀附结交朝中的权贵。羊祜的堂外甥王衍曾经去羊祜那里交待事情，意思、条理都说得非常清晰，而羊祜并没有赞赏他，王衍于是拂袖而去。羊祜回头对宾客说：“王衍应当能凭借盛名坐上高位，但是败坏风俗、有损教化的也必定是他。”攻打江陵的时候，羊祜曾经要用军法斩杀王戎。王衍是王戎的堂弟，所以两个人都怨恨羊祜，言语议论之间经常诋毁羊祜。
晋咸宁四年(公元278年)，羊祜因病请求入朝觐见司马炎，到了以后，司马炎让他乘坐车子上殿，不用朝拜直接就座。羊祜向司马炎当面陈述攻取东吴的计划，司马炎非常赞赏。因为羊祜生病，不方便经常进宫，司马炎就派中书令张华去羊祜那里询问计策。羊祜说：“孙皓暴虐到了极点，现在可以不战而胜。如果孙皓不幸死了，吴人再立一个贤明的君主，那么我们虽然有百万大军，长江以外也不是我们可以觊觎的，将会成为后患啊!”张华非常赞同他的话。羊祜说：“成就我理想的人，就是你啊。”
晋咸宁五年(公元279 年)十一月二十六日，羊祜生病去世，司马炎哭得十分哀伤。那一天，天气非常寒冷，眼泪流到胡须上都结成了冰。荆州的百姓听到羊祜去世，为他停止做生意，街巷里哭声一片。东吴戍守边界的士兵也都为他哭泣。羊祜喜欢到岘山游玩，襄阳人就为他在岘山建碑立庙，每逢时节就去祭祀他。看到这块石碑的人没有不流泪的，所以人们叫它“堕泪碑”。
