元兴元年（402），朝廷以司马元显为骠骑大将军征讨大都督、都督十八州诸军事，并以北府兵镇北将军刘牢之为前锋都督讨伐桓玄。桓玄甚为惊恐，欲保江陵，后来他听了长史卞范之的计谋，留其兄伟守江陵，自己率众至寻阳，反而“移檄京邑，罪状元显”。结果变不利为有利，大败司马尚之和司马休之，直入建康，杀司马道子、元显。刘牢之背叛朝廷，降于桓玄。第二年，桓玄称帝，国号楚。

　　桓玄称帝后，“祸难屡构，干戈不戢，百姓厌之，思归一统”（《晋书·桓玄传》）。刘裕看清了局势，与刘毅、何无忌等共谋反桓之事。从此，拉开了平定桓玄之乱的序幕。

　　桓玄始欲叛晋时，他的从兄卫将军谦曾讨问刘裕的口信，刘裕当时已经“志欲图玄”，乃逊辞答曰：“楚王，宣武之子，勋德盖世。晋室微弱，民望久移，乘运禅代，有何不可？”刘裕口上这么说，心里却打定主意要起兵反玄。

　　桓玄称帝后，有一次见到刘裕，便对左右的人说：“昨见刘裕，风骨不恒，盖人杰也。”以后每次游集，都对刘裕态度优礼有加，赠赐甚厚，想借此笼络裕心，可是刘裕反心却更加坚决。也有人看出刘裕不会久居人下，劝桓玄说：“刘裕龙行虎步，视瞻不凡，恐不为人下，宜早为其所。”桓玄却不以为然地说：“我方欲平荡中原，非刘裕莫可付以大事，关、陇平定，然后当别议之耳。”反而更加褒奖刘裕，下诏说：“刘裕以寡制众，屡摧妖铎。汎海穷追，十殄其八。诸将力战，多被重创。自元帅以下至于将士，并宜论赏，以叙勋烈。”桓玄以为用这种怀柔政策可以打消刘裕的不满情绪，但刘裕却暗中作了大量准备工作，加紧了叛玄的步伐。

　　元兴三年（404）二月，刘裕以游猎为幌子，与何无忌等收集部众，联合了魏咏之、檀道济、周道民、田演等二十七人率众起兵，在京口、广陵杀死了桓修和桓弘。桓修被杀后，刘裕还假惺惺地痛哭流涕，表示要厚葬桓修。刘裕部初克建康时，桓修司马刁弘率文武佐吏前来救援。刘裕登上城楼对他说：“我等并被密诏，诛除逆党，同会今日。贼玄之首，已当枭于大航矣。诸君非大晋之臣乎？今来欲何为？”刁弘被他唬住，只好收众而退。不久刘毅率部众赶到，刘裕急命他杀了刁弘。

　　刘毅的兄弟刘迈原来也在建康。刘裕起兵讨玄后不几天，曾派遣同谋周安穆前去通报刘迈，要他为内应。刘迈为人胆小怕事，他表面敷衍周安穆，内心却不敢应允。周安穆看破了他的心事，心中懊悔，害怕事情会因此泄露，于是急忙赶回报告刘裕。

　　这时，桓玄任命刘迈为竟陵太守。刘迈不知该怎么办才好，准备船只走马赴任。一天夜里，刘迈接到了一封桓玄给他的信。信中问道“北府人情云何？卿近见刘裕何所道？”刘迈阅信后惊恐万分，以为桓玄已经知道刘裕的阴谋了。第二天一早就把事情全盘托出。桓玄这才如梦方醒，封刘迈为重安侯，既而一想，刘迈不抓住周安穆，使周得以逃出，于是又把刘迈给杀了。并连忙召桓谦、卞范之等共谋对付刘裕。桓谦认为应马上出兵攻击刘裕。桓玄听了不同意，说：“彼兵速锐，计出万死。若行遣水军，不足相抗，如有蹉跌，则彼气成而吾事败矣。不如屯大众于覆舟山以待之。彼空行二百里，无所措手，锐气已挫，既至，忽见大军，必惊惧骇愕。我按兵坚阵，勿与交锋，彼求战不得，自然散走。此计之上也。”于是派顿丘太守吴甫之、右卫将军皇甫敷北拒刘裕。

　　桓玄自从刘裕起兵后，天天忧惧不安。有人宽慰他说：“刘裕等众力甚弱，岂办之有成？陛下何虑之甚。”桓玄听了不同意，在他看来，“刘裕是为一世之雄”（事见《宋书·武帝本纪》）

　　元兴三年三月，刘裕与吴甫之会战于江乘。吴甫之是桓玄手下一名勇将，“其兵甚锐”，刘裕手执长刀，大声呼叫着，先身士卒，结果吴甫之被杀。接着，双方军队又战于罗落桥，桓玄部下皇甫敷率数千人迎战。宁远将军檀凭之与刘裕各率一队人马，檀凭之战败被杀，其部众纷纷逃散。刘裕却愈战愈勇，前后奋击，所向披靡，最后皇甫敷兵败被斩。

　　桓玄听说皇甫敷战败，更加恐惧。慌忙派桓谦屯兵东陵口，卞范之屯覆舟山西，双方兵力约有二万余众。不久，刘裕部饱食之后，将所有余粮全部扔掉，轻装上阵，进到覆舟山东，遍插旗帜在周围山上，作疑兵之计。桓玄又增派武骑将军庾祎之前往增援，庾祎之部兵精器利，局势开始对刘裕不利。刘裕面对强敌却镇定自若，他总是冲杀在最前阵，士兵受他鼓舞，也无不殊死奋战，一以当百，呼喊声惊天动地，士气十分旺盛。当时，天公作美，东北风刮得很大，刘裕急令纵火，火烟张天铺地，“鼓噪之音震京邑”。桓玄部很快崩溃瓦解。桓玄见大势已去，只好留下领军将军殷仲文守住石头城，自己率子弟沿长江南下。

　　刘裕在石头城立留台官，焚桓温神主于宣阳门外，重立晋新主在太庙中，以示自己是东晋的救世主。并派诸将帅追击桓玄。

　　刘裕赶跑桓玄，立了大功。尚书王嘏率百官迎接刘裕，众人都推举刘裕领扬州，刘裕心不在此，辞不肯受。于是大家又推刘裕为使持节，都督扬、徐、兖、豫、青、冀、幽、并八州诸军事，领军将军，徐州刺史，刘裕一下重权在握，这才遂了心愿，答应下来。

　　刘裕此时也是天时、地利、人和具备。桓玄当权时，接下来的是晋朝廷留下来的烂摊子，史称当时“百司纵弛，桓玄虽欲厘整，而众莫从之”。刘裕时就不然了，百废俱兴，众望听归，他“先以威禁内外，百官皆肃然奉职，二三日间，风俗顿改”。在刘裕主持下，朝廷内外确实有振兴气象。