泰始六年（270），孙吴在荆州的都督换上江东著名的军事家陆抗。陆抗到达荆州后，注意到西晋的动向，立即上疏给吴主孙皓。陆抗对荆州的形势表示忧虑，提醒孙皓不要盲目迷信长江天堑，应该认真备战。他把自己的想法归纳为十七条建议，请求实行。陆抗的到来，引起羊祜的警惕和不安。因此，他一面加紧在荆州进行军事布置；一面向晋武帝密呈奏表。密表建议，伐吴战争必须利用长江上游的便利条件，在益州（今四川地区）大办水军。羊祜认为，益州刺史王濬是治理水军的最佳人选。而当时在西晋朝廷内部，王濬是个有争议的人物。羊祜极力肯定王濬的军事才能，主张济其所欲，充分发挥他的才能。羊祜的密表，终于使晋武帝改变将王濬调离益州的打算。在后来的灭吴战争中，不出羊祜所料，王濬统率的益州水军起了重要作用，成为首先攻陷建邺、生擒孙皓的西晋军队。

　　泰始八年（272）八月，吴主孙皓解除西陵（今湖北宜昌）督步阐的职务。步阐因害怕被杀，拒绝返回建邺，当年九月，献城降晋。陆抗闻讯，立即派兵围攻西陵。晋武帝命令羊祜和巴西监军徐胤各率军分别攻打江陵（今湖北江陵）和建平（今四川巫县），从东西两面分散陆抗的兵力，以实现由荆州刺史杨肇直接去西陵救援步阐的计划。但陆抗破坏了江陵以北的道路，晋军粮秣的运输发生困难，再加上江陵城防坚固，不易攻打，羊祜顿兵于城下，不能前进。杨肇兵少粮悬，被陆抗击败，步阐城陷族诛。战争结束后，羊祜受到处罚，被贬官为平南将军。

　　西陵救援失利后，羊祜总结教训认识到：孙吴的国势虽已衰退，但仍有一定的实力，特别是荆州尚有陆抗这样的优秀将领主持军事，平吴战争不宜操之过急。于是，他采取军事蚕食和提倡信义的两面策略，以积蓄实力，瓦解对方，寻找灭吴的合适时机。羊祜派兵占据了荆州以东的战略要地，先后建立五座城池，把石城以西的土地都纳入西晋的版图之中。在荆州边界，他对孙吴的百姓与军队讲究信义。每当发生军事冲突，羊祜都预先与对方商定交战的时间，从不搞突然袭击。对于主张偷袭的部将，羊祜用酒将他们灌醉，不许他们再说。有一次，部下从边界抓到吴军两位将领的孩子。他知道后，马上命令将孩子送回。羊祜经常释放被俘的敌将，对战死的吴人也厚礼殡敛，送交对方。行军路过吴国边境，如果晋军使用当地的粮草，他都要下属按数作价给予赔偿。打猎的时候，羊祜约束部下，不许超越边界线。凡是被吴人射杀的禽兽，他都送还对方。对于投奔西晋的吴军将领，羊祜更是格外优待。羊祜这些作法，使对方心悦诚服。吴国人十分尊重他，不称呼他的名字，只称“羊公”。许多人受到感召而投降于他。例如，吴将夏详、邵f 降晋，随同他们而来就有当初被羊祜送回孩子的两位将领。吴将邓香进攻夏口，兵败被俘，羊祜当场将他释放。不久，邓香率领着部下重新归降过来。陆抗对羊祜这一套收买人心的措施，毫无办法，只好告诫部下说：“羊祜专门做好事，如果我们专门干不好的事，这不等于说，不用打仗，我们就让人家制服了吗？现在，我们只要守好边界就行了，千万不能光想占对方的小便宜。”因此，在很长的一段时间里，晋吴两国的荆州边线处于和平状态。

　　壮志未酬身先死咸宁二年（276）十月，晋武帝改封羊祜为征南大将军，恢复其贬降前的一切职权。经过七年的练兵和各项物质准备，荆州边界的晋军实力远远超过吴军，恰巧两年前，吴军主帅陆抗病死，孙吴荆州前线失去唯一能与羊祜抗衡的军事家。而这时，在孙皓高压统治下的吴国境内各种矛盾日益激化，将疑于朝，士困于野，民怨鼎沸，危机四伏。这一切表明西晋灭吴的条件已经成熟。羊祜不失时机地上疏给晋武帝请求伐吴。

　　在上疏中，羊祜追述平蜀之后的南北两国关系。指出，双方边战屡起，根本的原因是吴国的弃信背义。只有发动大规模的战争扫灭吴国，才能天下太平，永无兵役。他反对以春秋诸侯争霸的观点类比晋吴关系，劝告晋武帝在广泛听取臣下意见的同时，要有自己的独立见解。羊祜以蜀亡为例，说明两国交战，只有势均力敌，自然环境的险阻才能起作用。如果轻重不齐，强弱异势，光凭山水险阻，无济于事。他分析说，吴国的地理条件远不如蜀国，“江淮之难，不过剑阁，山川之险，不过岷汉”，而危机却十分严重，“孙皓之暴，侈于刘禅；吴人之困，甚于巴蜀”。在西晋方面，无论军队的数量，还是资储器械，都大比灭蜀的时候丰足。但如果不抓着这个大好的时机，军事优势就会在日常的消耗中丧失。羊祜详细地为未来战争进行了规划，建议“梁、益（今四川、陕西地区）之兵，水陆俱下；荆楚之众，进临江陵；平南、豫州（指在今湖北东北、河南西南一带的晋军），直指夏口（今湖北武汉）；徐、扬、青、兖（指今皖北、苏北一带的晋军），并向秣陵（今江苏南京）”。几路大军，同时进击，吴军势分形散，根本无法对抗。孙吴国内人心思乱，兵临之际，绝不会出现奋力死战的局面。吴人长于水战，短于陆战。一旦晋军攻破长江，吴人只能退保城池，去长入短，自就死地。羊祜估计，整个灭吴战争不用很长的时间，就会获得胜利。

　　羊祜的建议遭到朝内许多大臣的反对，权臣贾充、荀勖等人的态度尤其激烈。他们提出西北地区的鲜卑人骚乱问题，认为那里尚未平定，不应该同时进行灭吴战争。最初晋武帝对羊祜的上疏是大体赞同的，听到反对派的意见，态度又犹豫起来。为此，羊祜再一次上表说，灭吴与平定鲜卑骚乱并不矛盾，相反，只会促进西北问题的解决。他要求晋武帝尽快完成这一丰功伟绩。但是，除了度支尚书杜预、中书令张华等少数人外，羊祜的意见没有为众人所接受，灭吴建议被搁置了。羊祜对此十分痛心，他说：“世间不能如人意的事情太多了。这样好的机会被放过了，怎么能不受再兴办此事的后来者谴责呢？”