祖逖少輕財好俠，慨然有澄清天下之志。曾為齊王冏大司馬掾，累官太子中舍人，東海王司馬越任為典兵參軍、濟陰太守，母喪不赴。永嘉五年(311)匈奴族劉曜率漢軍攻陷洛陽，晉懷帝被俘，中原大亂，祖逖率親鄰幾百家避難南下，甘苦與共，被推為流徙的首領——行主。至泗口(今江蘇清江北)，鎮東大將軍司馬睿任命他為徐州刺史，不久征為軍咨祭酒，移居京口(今江蘇鎮江)。上書司馬睿，力請北伐。

建興元年(313)，司馬睿以逖為奮威將軍、豫州刺史，只予一千人的糧食和三千匹布作為北伐物資，由其自募戰士，自造兵器。他帶著隨他南下的部曲百余家北渡長江，中流擊楫宣誓：“祖逖不能清中原而復濟者，有如大江！”至淮陰后，一面冶鑄兵器。一面招募流散，得兩千多人，進屯雍丘(今河南杞縣)。當時，河南塢主各擁部曲自重，相互攻擊，依違于石勒和晉朝之間，他派人招撫，共御石勒，進克譙城(今安徽亳州)。蓬陂塢主陳川勢力較大，大掠豫州諸郡，被祖逖設伏擊潰，將所掠子女財物各歸原主，深得民心。陳川投石勒，祖逖率軍伐陳，勒遣石虎領兵五萬救援，祖逖數以奇兵擊退進犯。石勒統治的鎮戍多歸附祖逖，北方晉室將領李矩、郭默、上官巳、趙固等也愿聽從指揮，九年即收復黃河以南的大部土地。祖逖軍紀嚴明;自奉儉約，不畜資產，勸督農桑，發展生產，深得百姓愛戴。歷經喪亂的中原父老說：“吾等老矣！更得父母，死將何恨！”黃河北岸塢壁群眾向祖逖密報石勒的活動，迫使不敢南犯。石勒遣書求互市，他雖不答，卻任憑通商貿易，收利十倍。

正當他回鎮壽春，同時積極營繕虎牢關(今河南滎陽汜水鎮)，秣馬厲兵，積蓄力量，準備向北岸推進時，東晉王朝內部矛盾激化，王敦擅政，擁兵于武昌，而晉元帝司馬睿亦不甘為傀儡，積極任用刁協、戴淵等人，四方布置。

太興四年(321)，晉元帝司馬睿派遣戴淵為征西將軍、都督司、兗、豫、并、雍、冀六州諸軍事、司州刺史，以監督祖逖。戴淵雖然才學出眾，頗有韜略，又忠于晉朝，但因是南方人，對北伐并不積極，手下也沒有什么精兵強將。他的職務，實際上是晉元帝為了防備大將軍王敦而作的布置。祖逖憂慮王敦和東晉政權對立，內亂爆發，北伐難成，當年，憂憤死于雍丘。他死后王敦以為已經無敵，于是發動叛亂，于次年攻入石頭城。戴淵等援救失利，被執遇害。

王敦被平定后，朝廷又派祖逖的弟弟侍中祖約接替他的職務。祖約為人貪好財貨，短于大略，雖有祖煥、戴洋等人輔佐，但依舊屢次失敗，加上敵后的李矩等人相繼失敗，祖逖收復的土地又逐步被石勒攻占。327年，祖約聯合蘇峻發動叛亂，失敗后投奔石勒，不久全族被害(只有一個十歲的小兒子，被祖逖從前的一個羯族部下救出)。

公元321年9月，祖逖含恨離開了人世，享年56歲。中原人民聽到祖逖逝世的消息，萬分悲痛，許多地方的民眾為他建了紀念祠堂。祖逖領導的北伐雖然沒有完全取得勝利，但打擊了胡人氣焰，使東晉王朝統治得以鞏固。他為國獻身的精神，長留青史，千百年來一直受到人們的敬仰和贊頌。