谢安虽小心处事，但由于名高权重，难免引起一些人的妒忌。谢安女婿王国宝，是太原王坦之的儿子，不学无术，谢安十分讨厌他，只任命他当尚书郎。王国宝自以为出身名门，理应任清要官职，不愿任尚书郎，辞职不干，并积怨于谢安。王国宝的堂妹是司马道子的王妃，道子与孝武帝是投机的酒徒。因此，王国宝谄媚司马道子，让他在皇帝面前离间谢安。孝武帝于是逐渐不信任谢安，转而宠用司马道子。淝水战后，谢安功名大盛，孝武帝心有忌惮，加以道子离间，由是疏远。九年三月，又升谢安为太保，进一步将他架空。谢安也识时务，让荆、江二州于桓氏，维持大族间势力的平衡。一方面回避司马道子，不与他抗衡，一方面又千方百计夺回军政大权，维持自己家族的势力。九月，上书请求率兵北伐，于是加授谢安大都督扬、徐、江、荆、司、豫、兖、青、冀、幽、并、梁、益、雍、凉十五州诸军事，加黄钺。十年，前秦国内发生叛乱，苻坚求援于东晋。谢安正欲避司马道子，于是请求亲自率兵往救。四月，出镇广陵的步丘（今扬州邵伯镇），修建城堡居住，名为“新城”。谢安晚年虽功成业就，名盖天下，但忆起昔年隐居东山的悠闲生活，仍无限思念。及遭司马道子排斥，更思隐退。在新城造船凿舟，大作航海的准备，一旦时机适当，便欲沿长江下三吴，告老还乡，再过山水间的生活。但就在这一年七月，谢安病倒了，只得请求返回京师。走前，犹对北伐作了部置，命令龙骧将军朱序驻扎洛阳；前锋都督谢玄驻扎彭沛，互为犄角，待来年汛期水涨，东西两路一齐渡江北伐。部置完毕，才与儿子谢琰一起回到建康，上书请求退职。八月廿二日，谢安病卒于建康，终年六十六岁。东晋朝廷以隆重的仪式追悼谢安，孝武帝亲临灵堂三天，追赠太傅，谥文靖（谥法：柔德安众曰靖）。十月，追封庐陵郡公。谢安有两个儿子。长子谢瑶，袭封爵，官至琅琊王友，早卒。次子谢琰，甚有将才，跟随谢安从政，官至卫将军、徐州刺史、假节，后在孙恩之乱中被杀害。

　　风流学养谢安不仅是东晋一位杰出的政治家，而且博学多才，风度优雅，为东晋名士之冠。江左重人物，风流学养特为士人所矜重，谢安在这些方面，都体现了优秀的素质。

　　玄学作为侨姓士族的文化标志在整个社会生活中占重要地位。对玄理的掌握和谈玄技巧成为一项重要的价值标准。谢安便精于玄道。二十来岁时，拜访名士王濛，与他清谈了很久，大受赞赏。曾与许询、支道林等人聚集在王濛家。谢安提议大家在一起言咏写怀，于是共解《渔父》。谢安看题，令众人解释，支道林先解，讲了七百余语，叙致精丽，才藻奇拔，众人无不称善。大家都各抒己见之后，谢安谈自己的见解，讲了万余语，才峰奇逸，萧然自得，在座的人，莫不钦服。许、王、支都是东晋有名的谈手，而皆服于谢安，可见谢安玄学知识的渊博和言谈的精炼。

　　谢安亦通儒家经典。宁康三年（375），孝武帝将讲孝经，谢安与弟谢万等人在宫廷侍读，中书郎车胤摘句，不懂的地方便问谢安兄弟，一而再，再而三，深感不安，便对袁宏说：“不问则德音有遗，多问则重劳二谢。”袁宏劝他不必担心，因为“明镜不疲于屡照。”意即谢安学识渊博，通经熟典，为人解答疑难不会有什么困难。

　　在文学方面，谢安也很有修养。能诗善文，才学华丽。早年在东山，“出则渔弋山水，入则言咏属文。”《全三国两晋南北朝诗》所收谢安诗作十来首。曾写简文帝谥议，文理深得，为朝廷所采纳。桓温阅后，递给在座其他人看，并说：“这是安石碎金。”他闲居时，常与子侄们论文作诗，成了当时文坛佳活。

　　谢安性好音乐，精通乐理，曾与戴逵谈论琴书。自弟谢万死后，十年不听音乐。及登台辅，却不因丧废乐。王坦之屡次写信劝阻他，说居丧废乐是儒教大礼，希望谢安能维持礼治。但谢安却回信说：“我所追求的是声律，可称为情，所以没有什么不可作的，正聊以乐自娱，若要尊崇世教，纯洁行为，则不但不可提倡，亦非所屑。”他曾对王羲之说：“中年伤于哀乐，每次与亲人离别，总有几天心情不愉快。”王羲之安慰他说：“年纪大了，自然如此，正要依靠音乐来陶冶性情。”谢安晚年居丧行乐，谅必有寄兴托情的因素。而社会上的人将它视为风雅的行为而竞相仿效，遂成当时一种风尚。除音乐外，谢安还“工书善画”。他很喜欢顾恺之的画，称赞其画是“自生人以来未有也。”可见他对绘画有一定的爱好和鉴赏能力。曾经跟王羲之学草书，王羲之称赞他是“解书者”，说明他不仅会书法，而且懂书法理论，同时也有自己的欣赏能力。谢安的行书、隶书都写得很好。南朝羊欣所编《古来能书人名》及王僧虔《论书》等，都把谢安作为东晋书法家。

　　桓温执政时，郗超得宠，朝廷百官都很敬畏他。谢安曾与王坦之一起去拜访郗超，等候了半天，还不得接见，王坦之便要走，谢安说：“难道不能为身家性命而忍耐片刻吗？”对待下层也是如此。谢安曾乘船东行，仆人们牵纡引船，时快时慢，有时停顿，有时却又放任船只飘荡，触着岸边，使船上人相撞。但谢安从不呵责仆人，人们称赞他不会喜怒无常。但有一次，谢安参加哥哥谢奕的葬礼回来，天色已暮，又下着雨，车夫喝得酩酊大醉，驾驭不住牛车，谢安坐在车中，手取车柱撞打车夫，声色俱厉，使车夫骇然酒醒。人们说谢安的性格如深沉的江水，平时静静缓流，但在关隘的地方却奔泄直下。