羊祜到任后，大量开办学校，兴办教育，安抚百姓，怀柔远人，同时与吴国人开诚相待，凡投降之人，去留可由自己决定。
泰始六年（公元270年），吴国在荆州的都督换上了名将陆抗。
陆抗到荆州后，注意到西晋的动向，立即上疏给吴主孙皓，要他保持警惕，不要以为有长江天险就松懈了。
羊祜感觉到对手的厉害，决定用诚意感化对手，于是他实施怀柔、攻心之计。
他对吴国的百姓与军队讲究信义，每次和吴人交战，他都预先与对方商定交战的时间，从不搞突然袭击。对于主张偷袭的部将，羊祜用酒将他们灌醉，不许他们再说。有部下在边界抓到吴军两位将领的孩子。羊祜知道后，马上命令将孩子送回。后来，吴将夏详、邵颉等前来归降，那两位少年的父亲也率其部属一起来降。吴将陈尚、潘景进犯，羊祜将二人追杀，然后，嘉赏他们死节而厚礼殡殓。两家子弟前来迎丧，羊祜以礼送还。吴将邓香进犯夏口，羊祜悬赏将他活捉，抓来后，又把他放回。邓香感恩，率其部属归降。羊祜的部队行军路过吴国边境，收割田里稻谷以充军粮，但每次都要根据收割数量用绢偿还。打猎的时候，羊祜约束部下，不许超越边界线。
他的这些做法，令吴人心悦诚服，不再叫他的名字，而是称呼他为羊公。
陆抗生病了，听说羊祜那里有药，竟然向他求药。
羊祜立即把药送了过去。
吴将怕下毒，劝陆抗不要吃。
陆抗坦然不疑，说：“世上没有毒人的羊祜！”说完，仰而服下。
吴主孙皓听到陆抗在边境的做法，非常不满意，就派人斥责他。
陆抗回答说：“一乡一镇之间，不能不讲信义，何况一个大国呢？如我不讲信义，正是宣扬了羊祜的德威，对他毫无损伤。”
孙皓听了回复，无言以对。
他当然是想不明白的，因为孙皓和羊祜、陆抗这样的人，压根和他就不是同路人，所以，他永远想不通敌人为什么会做成朋友的。
羊祜为荆州带来了和平，后来他死了，荆州人非常的感念他，特意把户改为门，为的就是避讳他的“祜”字。
他做完这一切后，吴国人充分感受到了晋国的善意；而吴主孙皓又没把吴国治理得很好，不是很得民心。
羊祜知道，灭吴的机会来了！
咸宁二年（公元276年）十月，司马炎改封羊祜为征南大将军，开府仪同三司，可以自行辟召僚佐。而这时，吴国名将陆抗又已经死了。
羊祜知道机会出来了，便上疏请求伐吴，这封奏疏就是著名的《请伐吴疏》。
其中许多经典之句，充分显示了羊祜的文采和见识。
他说“夫期运虽天所授，而功业必由人而成。”
——运气虽然是老天给予的，但是，功业一定要个人去完成！灭吴大业，没有去攻打，怎么能灭？
另外，还有极其有见识，又极其有文采的一段话：“江淮之难，不过剑阁；山川之险，不过岷汉；孙皓之暴，侈于刘禅；吴人之困，甚于巴蜀。而大晋兵众，多于前世；资储器械，盛于往时！”
前四句是吴国的地理比蜀国还好攻打，中间四句是孙皓比刘禅还不如，最后四句是晋朝军队兵器强于以前。
归结就是：此时不灭吴，更待何时！