大興四年(321年)，晉元帝以戴淵為征西將軍、都督司、兗、豫、并、雍、冀六州諸軍事、司州刺史。祖逖認(rèn)為戴淵雖有才望，但無遠(yuǎn)見，無助于北伐，而且自己既收復(fù)黃河以南大片土地，卻突然由如此從容不迫的文臣統(tǒng)領(lǐng)，心中甚為不快。同時(shí)，祖逖憂慮權(quán)臣王敦和寵臣劉隗對(duì)立，內(nèi)亂將會(huì)爆發(fā)，北伐難成，因而憂憤成疾。祖逖雖然患病，但仍圖進(jìn)取，抱病營繕虎牢城，同時(shí)派人修筑營壘作為南部部隊(duì)的據(jù)點(diǎn)以防后趙進(jìn)侵。

同年九月，“妖星見于豫州之分”，祖逖仰視星空，嘆道：“為我矣！方平河北，而天欲殺我，此乃不祐國也。”不久，祖逖病逝于雍丘，享年五十六歲，追贈(zèng)車騎將軍。豫州百姓如喪父母，譙梁百姓為之立祠。祖逖死后，王敦大喜過望，“久懷逆亂，畏逖不敢發(fā)，至是始得肆意焉”。祖逖之弟祖約代替其兄統(tǒng)領(lǐng)部眾，但節(jié)節(jié)失敗，祖逖收復(fù)的河南大片土地最終被后趙攻陷。南渡之后，很多南渡士族極力要求司馬睿北伐收復(fù)失地，以聞雞起舞出名的祖逖為其中的突出代表。但是他并沒有得到司馬睿的重用。這是由于司馬睿不會(huì)用人嗎？我們認(rèn)為并不是這樣的，因?yàn)樽驽驯狈サ囊蠛退抉R睿立足江南的目標(biāo)存在沖突，為了實(shí)現(xiàn)自己的戰(zhàn)略目標(biāo)，他放棄了祖逖。

祖逖率領(lǐng)宗族賓客南渡后，司馬睿開始還是重用他的，任命他為徐州刺史，不久又征用為軍諮祭酒。但祖逖仍以收復(fù)中原為己任，多次上書司馬睿，積極要求北伐。而此時(shí)司馬睿政權(quán)在江南尚未立穩(wěn)腳跟，對(duì)北伐能否成功更是懷疑，所以很現(xiàn)實(shí)地選擇了保存江南政權(quán)的策略，因此對(duì)北伐態(tài)度極其冷漠。有人說司馬睿本人“素?zé)o北伐之志”，這似乎有些要求過分了。他和王導(dǎo)實(shí)際上是在致力于割據(jù)江南，靜觀時(shí)變;渡江之后，他在建康建立了實(shí)際上的獨(dú)立政權(quán)，實(shí)現(xiàn)了偏安江左的規(guī)劃，但是并不穩(wěn)固，需要加強(qiáng)內(nèi)部建設(shè)，保存實(shí)力。

盡管司馬睿政權(quán)對(duì)北伐不積極，但由于南渡百姓及部分南渡士族強(qiáng)烈要求光復(fù)失地，重返家園，因此，為了籠絡(luò)人心，司馬睿也不得不表面上同意祖逖北伐。司馬睿于是任命他為奮威將軍、豫州刺史，卻不愿意給予實(shí)質(zhì)的支持，只給幾千軍隊(duì)，千人口糧和三千匹布，剩下的東西讓他自行解決。

祖逖還是率兵渡江北上，在長江上擊楫起誓：“不能清中原而復(fù)濟(jì)者，有如大江。”表達(dá)出自己北伐的壯志。渡江后，祖逖進(jìn)屯淮陰，招募軍士，鍛鑄兵甲，并屯田積谷，隨后進(jìn)軍太丘、雍丘一帶，并積極聯(lián)合一些塢壁的地主武裝，共同對(duì)付石勒。不到幾年的時(shí)間，祖逖就收復(fù)了黃河以南的大部分土地，并在收復(fù)之地勸課農(nóng)桑，允許邊境人民開展互市貿(mào)易，使收復(fù)之地呈現(xiàn)出一片興旺繁榮的景象。

但是祖逖始終沒有得到東晉政權(quán)的支持，北伐終以失敗而告終。這除了史家常說的權(quán)力爭(zhēng)斗等因素外，從用人角度講，祖逖的抱負(fù)雖然宏大，但是與司馬睿的戰(zhàn)略規(guī)劃確實(shí)存在沖突。他不能為司馬睿所用是有原因的。