大興四年(321年)，晉元帝以戴淵為征西將軍、都督司、兗、豫、并、雍、冀六州諸軍事、司州刺史。祖逖認為戴淵雖有才望，但無遠見，無助于北伐，而且自己既收復黃河以南大片土地，卻突然由如此從容不逼的文臣統領，心中甚為不快。同時，祖逖憂慮權臣王敦和寵臣劉隗對立，內亂將會爆發，北伐難成，因而憂憤成疾。祖逖雖然患病，但仍圖進取，抱病營繕虎牢城，同時派人修筑營壘作為南部部隊的據點以防后趙進侵。

同年九月，“妖星見于豫州之分”，祖逖仰視星空，嘆道：“為我矣！方平河北，而天欲殺我，此乃不祐國也。”不久，祖逖病逝于雍丘，享年五十六歲，追贈車騎將軍。豫州百姓如喪父母，譙梁百姓為之立祠。祖逖死后，王敦大喜過望，“久懷逆亂，畏逖不敢發，至是始得肆意焉”。祖逖之弟祖約代替其兄統領部眾，但節節失敗，祖逖收復的河南大片土地最終被后趙攻陷。南渡之后，很多南渡士族極力要求司馬睿北伐收復失地，以聞雞起舞出名的祖逖為其中的突出代表。但是他并沒有得到司馬睿的重用。這是由于司馬睿不會用人嗎？我們認為并不是這樣的，因為祖逖北伐的要求和司馬睿立足江南的目標存在沖突，為了實現自己的戰略目標，他放棄了祖逖。

祖逖率領宗族賓客南渡后，司馬睿開始還是重用他的，任命他為徐州刺史，不久又征用為軍諮祭酒。但祖逖仍以收復中原為己任，多次上書司馬睿，積極要求北伐。而此時司馬睿政權在江南尚未立穩腳跟，對北伐能否成功更是懷疑，所以很現實地選擇了保存江南政權的策略，因此對北伐態度極其冷漠。有人說司馬睿本人“素無北伐之志”，這似乎有些要求過分了。他和王導實際上是在致力于割據江南，靜觀時變;渡江之后，他在建康建立了實際上的獨立政權，實現了偏安江左的規劃，但是并不穩固，需要加強內部建設，保存實力。

盡管司馬睿政權對北伐不積極，但由于南渡百姓及部分南渡士族強烈要求光復失地，重返家園，因此，為了籠絡人心，司馬睿也不得不表面上同意祖逖北伐。司馬睿于是任命他為奮威將軍、豫州刺史，卻不愿意給予實質的支持，只給幾千軍隊，千人口糧和三千匹布，剩下的東西讓他自行解決。

祖逖還是率兵渡江北上，在長江上擊楫起誓：“不能清中原而復濟者，有如大江。”表達出自己北伐的壯志。渡江后，祖逖進屯淮陰，招募軍士，鍛鑄兵甲，并屯田積谷，隨后進軍太丘、雍丘一帶，并積極聯合一些塢壁的地主武裝，共同對付石勒。不到幾年的時間，祖逖就收復了黃河以南的大部分土地，并在收復之地勸課農桑，允許邊境人民開展互市貿易，使收復之地呈現出一片興旺繁榮的景象。

但是祖逖始終沒有得到東晉政權的支持，北伐終以失敗而告終。這除了史家常說的權力爭斗等因素外，從用人角度講，祖逖的抱負雖然宏大，但是與司馬睿的戰略規劃確實存在沖突。他不能為司馬睿所用是有原因的。