劉裕後從軍，最初就任北府軍將領冠軍將軍孫無終的司馬，隆安三年十一月，孫恩從會稽起兵反晉，朝野震驚，劉裕藉機轉投淝水之戰名將劉牢之門下，從軍平叛。在轉戰三吳的幾年中，劉裕屢充先鋒，每戰挫敵，其軍事幹略得到初步顯露。他不僅作戰勇猛，披堅執銳，衝鋒陷陣，且指揮有方，富有智謀，善於以少勝多。劉裕治軍整肅，法紀嚴明。因討亂有功，劉裕被封爲建武將軍，領下邳太守。劉裕開始在北府軍中展露其才華。
元興元年，桓溫之子桓玄舉兵東下，攻入建康，殺司馬元顯，劉裕審時度勢，暫投桓玄以行韜晦。由於劉裕屢建軍功，於北府舊部中頗有聲望，故桓玄也不敢小視他。次年十二月，桓玄篡位，更對劉裕款待備至，恩寵有加。桓玄常說：“我欲蕩平中原，非此人不行”。
元興三年，劉裕以打獵爲名，聚集百餘人首先在京囗發難，殺死桓修。衆人推劉裕爲盟主，傳檄四方，各地紛起響應。因桓玄守軍大多是北府軍出身，面對劉裕都沒有鬥志，劉裕於是與諸軍進攻，順利以火攻擊潰桓玄守軍，而桓玄亦棄城西逃。
當年六月劉裕誅殺了桓玄，晉安帝在江陵復位。
義熙元年，劉裕收復江陵，驅逐當地桓氏勢力，並自江陵迎晉安帝回建康。恢復東晉江山。
義熙四年，劉裕聽從劉穆之勸言入朝議繼任人選，終獲授侍中、車騎將軍、開府儀同三司、揚州刺史、錄尚書事、徐兗二州刺史，入掌朝政大權。至此成爲東晉朝堂之上的真正領導者。平定桓玄之亂，讓劉裕在亂世崛起，也鍛鍊了他的睿智之心，劉裕心中自有韜略，一直以來他知道北方纔是自己的戰場，等到其掌握東晉大權後，北伐即提上日程。
