東晉自偏安以來，時時面臨著北方的威脅。祖逖、庾亮、殷浩、桓溫都曾先后北伐，但無一成功。為了國家的強大，劉裕決定興師北上。

義熙五年(409)，南燕主慕容德死，其侄慕容超襲位，縱兵肆虐淮北，擄去晉兩郡太守，驅(qū)掠百姓千余家。劉裕因此上表北伐。三月，他統(tǒng)領(lǐng)晉軍向北挺進。

南燕大將公孫五樓見晉師威猛，向慕容超建議扼據(jù)大峴(今山東沂縣)，堅壁清野，但被拒絕。劉裕看準時機，冒險越過大峴山隘，一舉攻克臨胊(今山東掖縣)，奪得大量輜重。接著，晉軍將士在劉裕的親自鼓動下迅速進擊，直逼燕都廣固(今山東益都)。慕容超遁入城中堅守不出。雙方進入相持階段。晉軍一方面高壘重塹，將廣固團團圍住，以燕人之糧充實軍用;一方面招降納降，采取分化瓦解之策。南燕大將桓遵兄弟及徐州刺史段宏相繼歸附，尤其是尚書郎張綱被俘，對劉裕十分有利，最后正是利用他所設(shè)計的攻城器械拿下燕都，活捉了慕容超。劉裕以廣固久守不降為由，入城后，盡殺王公以下三千人以泄憤。

齊境克服，劉裕本想停鎮(zhèn)下邳，蕩凊河洛，但孫恩妹夫盧循復(fù)集孫恩殘部，敗晉軍于豫章(今江西南昌)。劉裕不得不班師回朝。回京后，先后督師鎮(zhèn)壓盧循、剿滅割據(jù)長江中上游的劉毅、譙縱勢力，逼走司馬休之，使南方出現(xiàn)了百年來從未有過的一統(tǒng)局面。

義熙十二年(公元416)一月，后秦主姚興死，姚泓繼位，內(nèi)部叛亂迭起，政權(quán)不穩(wěn)。劉裕認為這是滅亡后秦的良機。時劉裕圖以晉室名聲安撫北方人民，故想奉司馬德文之名北伐，司馬德文因而上書出兵，以修謁晉室山陵，最終劉裕就與司馬德文一同率兵出發(fā)。八月，劉裕以劉穆之任尚書左仆射，內(nèi)總朝政，外供軍糧，自己率大軍分四路北伐。九月，劉裕扺達彭城。龍驤將軍王鎮(zhèn)惡、冠軍將軍檀道濟領(lǐng)兵由淮、淝轉(zhuǎn)向許、洛，后秦諸屯守皆望風(fēng)降附，晉軍進展神速。十月，王鎮(zhèn)惡軍占領(lǐng)洛陽。

次年正月，劉裕留其子劉義隆鎮(zhèn)守彭城，自率大軍北上。此時北魏派十萬重兵駐守河北，并以游騎騷擾晉軍。劉裕在行軍中，雖常設(shè)奇陣或用大弩強槊擊敗魏軍，但進軍速度緩慢。王鎮(zhèn)惡軍由洛陽進抵潼關(guān)后，為秦主力守險以阻，檀道濟軍的糧道也為秦將姚紹截斷。晉軍一時處于危境。王、檀向劉裕求援，而劉裕卻為北魏軍牽制，自顧不暇。幸得當?shù)匕傩盏膸椭P(guān)晉軍才轉(zhuǎn)危為安。七月，劉裕擺脫魏軍，進至陜城;前鋒沈田子攻入武關(guān)，進屯青泥(今陜西藍田)。八月，劉裕至潼關(guān)，與諸部會合。

秦主姚泓為緩解兩面受敵的危局，謀劃先消滅沈田子軍，再抵御劉裕，于是率步騎數(shù)萬急趨青泥。沈田子軍本為疑軍，不過千余人，但各自為戰(zhàn)，驍勇異常，數(shù)次出擊竟使姚泓敗還長安。此時，王鎮(zhèn)惡突破潼關(guān)防線，率師直進，一舉攻陷長安城，姚泓率群臣投降。