永初元年(420年)，劉裕廢晉恭帝，自立為帝，國號宋，定都建康，南朝開始。執政期間，吸取前朝士族豪強挾主專橫的教訓，集權中央，抑制豪強兼并，實施土斷，整頓吏治，重用寒門，發展生產，輕徭薄賦，廢除苛法，親自聽訟，振興教育，策試諸州郡秀才，舉善旌賢，多次遣使訪民間疾苦，改善政治和社會狀況，終結了門閥專政的時代，使南方農業生產得到恢復和發展。為元嘉之治打下堅實的基礎，同時也奠定南朝政治的雛形。被明代大思想家李贄譽為“定亂代興之君”。他對江南經濟的發展，漢文化的保護與發揚有重大貢獻，并開創了江左六朝疆域最遼闊的時期，被譽為“南朝第一帝”。

東晉自偏安以來，時時面臨著北方的威脅。祖逖、庾亮、殷浩、桓溫都曾先后北伐，但無一成功。為了國家的強大，劉裕決定興師北上。

義熙五年(409)，南燕主慕容德死，其侄慕容超襲位，縱兵肆虐淮北，擄去晉兩郡太守，驅掠百姓千余家。劉裕因此上表北伐。三月，他統領晉軍向北挺進。

南燕大將公孫五樓見晉師威猛，向慕容超建議扼據大峴(今山東沂縣)，堅壁清野，但被拒絕。劉裕看準時機，冒險越過大峴山隘，一舉攻克臨胊(今山東掖縣)，奪得大量輜重。接著，晉軍將士在劉裕的親自鼓動下迅速進擊，直逼燕都廣固(今山東益都)。慕容超遁入城中堅守不出。雙方進入相持階段。晉軍一方面高壘重塹，將廣固團團圍住，以燕人之糧充實軍用;一方面招降納降，采取分化瓦解之策。南燕大將桓遵兄弟及徐州刺史段宏相繼歸附，尤其是尚書郎張綱被俘，對劉裕十分有利，最后正是利用他所設計的攻城器械拿下燕都，活捉了慕容超。劉裕以廣固久守不降為由，入城后，盡殺王公以下三千人以泄憤。

齊境克服，劉裕本想停鎮下邳，蕩凊河洛，但孫恩妹夫盧循復集孫恩殘部，敗晉軍于豫章(今江西南昌)。劉裕不得不班師回朝。回京后，先后督師鎮壓盧循、剿滅割據長江中上游的劉毅、譙縱勢力，逼走司馬休之，使南方出現了百年來從未有過的一統局面。

義熙十二年(公元416)一月，后秦主姚興死，姚泓繼位，內部叛亂迭起，政權不穩。劉裕認為這是滅亡后秦的良機。時劉裕圖以晉室名聲安撫北方人民，故想奉司馬德文之名北伐，司馬德文因而上書出兵，以修謁晉室山陵，最終劉裕就與司馬德文一同率兵出發。八月，劉裕以劉穆之任尚書左仆射，內總朝政，外供軍糧，自己率大軍分四路北伐。九月，劉裕扺達彭城。龍驤將軍王鎮惡、冠軍將軍檀道濟領兵由淮、淝轉向許、洛，后秦諸屯守皆望風降附，晉軍進展神速。十月，王鎮惡軍占領洛陽。

次年正月，劉裕留其子劉義隆鎮守彭城，自率大軍北上。此時北魏派十萬重兵駐守河北，并以游騎騷擾晉軍。劉裕在行軍中，雖常設奇陣或用大弩強槊擊敗魏軍，但進軍速度緩慢。王鎮惡軍由洛陽進抵潼關后，為秦主力守險以阻，檀道濟軍的糧道也為秦將姚紹截斷。晉軍一時處于危境。王、檀向劉裕求援，而劉裕卻為北魏軍牽制，自顧不暇。幸得當地百姓的幫助，潼關晉軍才轉危為安。七月，劉裕擺脫魏軍，進至陜城;前鋒沈田子攻入武關，進屯青泥(今陜西藍田)。八月，劉裕至潼關，與諸部會合。

秦主姚泓為緩解兩面受敵的危局，謀劃先消滅沈田子軍，再抵御劉裕，于是率步騎數萬急趨青泥。沈田子軍本為疑軍，不過千余人，但各自為戰，驍勇異常，數次出擊竟使姚泓敗還長安。此時，王鎮惡突破潼關防線，率師直進，一舉攻陷長安城，姚泓率群臣投降.