宁康初，桓温大权在握，威行内外，孝武帝软弱无能，政不己出，全赖谢安、王坦之等大臣尽忠臣辅，维持政局平衡，使桓温始终不能取司马氏而代之。桓温一再催促朝廷授给他加九锡殊礼，记室袁宏起草了礼文，文采甚美，当时桓温已重病在身，谢安故意缓行其事，每次袁宏呈草稿上来，都要他修改，一连修改了几次仍不能定稿。袁宏不明其意，问仆射王彪之。彪之说：“桓温的病一天比一天重，不会久于人世，文稿还可拖延些时日。”果然，这一年七月，桓温便病故了，加九锡的事便不了了之。

　　桓温死后，桓氏势力仍十分强盛。其弟桓冲、桓豁，侄儿桓石秀操纵着扬、荆、江等军事重镇。谢安为了避免朝政大权落入桓氏手中，让崇德褚太后出来临朝听政。褚太后是谢安堂姐的女儿，她的临朝对谢安很有利。不久，谢安升为尚书仆射，领吏部，加后将军。与尚书令王彪之共掌朝政。宁康二年，中书令王坦之出任徐、兖二州刺史，谢安又兼统中书省，成为实际决策者。当时，北方的前秦、前燕等少数民族政权强盛，不断侵扰东晋边境，国内宗室司马道子弄权，大族如王、桓诸族恃强抗衡。鉴于这种国情，谢安对外采取和靖政策，尽量减少武力冲突；对内施行德政，文武用命，富国强兵，同时维持各大族之间及大族与皇室之间的势力平衡。如扬、荆、徐、兖四大重镇，前二镇握于桓氏手中，后二镇则为太原王氏所操纵。宁康三年，王坦之卒，谢安即以徐州授桓冲，自领扬州刺史，首先夺得对京师威胁最大的军镇。当时，太原王蕴因为是皇后的父亲而受皇帝的信宠，谢安不久又解桓冲的徐州授王蕴，既间疏王蕴和皇帝的关系，又削弱桓氏的兵权，也使太原王氏再握军镇，达到各大族势力基本上平衡。与此同时，又注意不过分伤害大族的既得利益，乃奏请追封晋初开国功臣的后裔，兴亡继绝。永嘉时，大量北民南渡，大族兼并流民为部曲，不立户籍。桓温执政时，曾行土断，三吴首当其冲，被括逃户多流入京师。有人主张彻底搜索，谢安不许，认为应以德政抚民，不行烦细苛政，加上强寇压境，不宜扰乱民心，故回答说：“京师若容不了这些人，何以称为京师？”（古义京曰大，师曰众）史称谢安“弘以大纲”“不存小察”，基本上类同于王导的施政措施。王导晚年不复理事，行无为之政，死后庾冰继任，则纲密刑峻，殷羡认为庾冰之政虽纲目不失，终是小道，不如王导之政。谢安十分欣赏和赞同这一评价。因为谢安为政宽恕，事从简易。人们都称赞他政如王导而文雅则胜过王导。

　　淝水大捷太元元年（376），谢安进位中书监、录尚书事。二年，又加司徒，谢安谦让不拜，复加侍中、都督扬、徐、兖、豫、青五州军事。当时，前秦屡扰晋境，朝廷下令招求可以镇守北方防线的文武良将。谢安推荐自己的侄儿谢玄。有人讥诽谢安用人唯亲。中书郎郗超虽与谢安有怨隙，闻此事后叹息说：“谢安能不怕他人讥诽而举荐自己的亲戚，真是明智。谢玄是有才能的人，必不辜负谢安的期望。”果然，谢玄任兖州刺史后，在京口组成“北府兵”，精锐无比，成为东晋最强劲的武力。太元四年，出镇广陵，命令儿子谢琰进攻彭城，获胜而归。太元五年，进位卫将军，开府仪同三司。

　　太元八年，前秦苻坚亲率六十万大军南侵，水陆并进，直逼淝水，京师为之震惊。谢安任命自己的弟弟谢石为征讨大都督，侄儿谢玄为前锋都督，儿子谢琰辅国将军与西中郎将桓伊等率八万精兵拒敌。敌我兵力悬殊，人心惶惶。战前，谢玄前来请问战略战术。谢安却说：“朝廷已另有旨安排。”谢玄亦不敢追问。谢安泰然无异常日，命驾车出游，与亲朋好友欢聚，还跟谢玄一起围棋赌别墅。谢安平日棋技不如谢玄，但这一天谢玄心里慌乱，竟输给了谢安。下完棋，又在别墅附近游览山水，至夜晚才回来。西线的桓冲十分担忧，从荆州派来三千精兵帮助保卫京师。谢安却不接受，说：“朝廷已有退敌之计，无须补充兵力，西边防线也很重要，不宜随便抽调军队。”桓冲对手下的人叹息说：“今大敌当前，宰相只顾游山玩水，又派年轻不懂事的青年将领上前线，敌众我寡，东晋灭亡无疑了。”谁知谢安早已成竹在胸，欲稳定民心，才故意装出若无其事，以博奕游玩托情，暗中却运筹帷幄。十月决战前夕，召来诸将，面授机宜。淝水一战，晋军大破秦军，捷报传来，谢安正与客人围棋，接信看后放在一边，照旧下棋。客人询问何事，谢安才慢慢回答：“子侄们已打败了秦军。”下完棋回家，由于心中极度高兴，过门槛时碰折了屐齿都不知道。这种操胜负于谈笑之间的风度和喜怒不形于色的修养，在社会上广为传颂。

　　晚年桓冲得知谢氏诸将已破秦军，既妒忌谢氏的胜利，又后悔当初失言，加上自己镇守西线，历年败于后燕军队，羞愤交加，太元九年二月发病而死。荆、江二州刺史缺任，谢玄新立大功，朝廷上下都认为应把这二个重要军职授与谢玄。但谢安一来感到自己家族功名太盛，战后，谢石进位尚书令，太元九年谢安进位太保，若谢玄再出任西线重镇，一家揽尽全国军政大权，容易成为众矢之的；二来担心尚有一定势力的桓氏一旦失去重要官职，会怨恨而起事。因此，将荆州授与了桓冲侄儿桓石民，任命石民的弟弟桓石虔为豫州刺史，桓冲的孙子桓伊则为江州刺史。谢安一直注意维持各大族之间的势力平衡，既不过分削弱，也不让其过分膨胀，即使对自己的家族，也不例外。因此，谢安当政期间，政局比较稳定，国力发展较快，南北对峙的局面，也正是在这一时期形成的。