謝安派出的將領胡彬，率領水軍沿著淮河向壽陽進發。在路上，他得知壽陽已經被前秦的前鋒苻融攻破。胡彬只好退到硤石(今安徽鳳臺西南)，扎下營來，等待謝石、謝玄的大軍會合

苻融占領壽陽以后，又派部將梁成率領五萬人馬進攻洛澗(在今安徽淮南東)，截斷了胡彬水軍的后路。晉軍被圍困起來，軍糧一天天少下去，情況十分危急。

胡彬派出兵士偷偷送信給謝石告急，說：“現在敵人來勢很猛，我軍糧食快完，恐怕沒法跟大軍會合了。”送信的晉兵偷越秦軍陣地的時候，被秦兵捉住。這封告急信落在苻融手里，苻融立刻派快馬到項城去告訴苻堅。苻堅一連得到秦軍前鋒的捷報，更加驕傲起來。他把大軍留在項城，親自率領八千名騎兵趕到壽陽，恨不得一口氣把晉軍吞掉。他到了壽陽，跟苻融一商量，認為晉軍已經不堪一擊，就派了一個使者到晉軍大營去勸降。

那個派出的使者不是別人，恰恰是前幾年在襄陽堅決抵抗過秦軍、后來被俘虜的朱序。朱序被俘以后，雖然被苻堅收用，在秦國當個尚書，但是心里還是向著晉朝。他到晉營見了謝石、謝玄，像見了親人一樣高興，不但沒按照苻堅的囑咐勸降，反而向謝石提供了秦軍的情報。他說：“這次苻堅發動了百萬人馬攻打晉國，如果全部人馬一集中，恐怕晉軍沒法抵擋。現在趁他們人馬還沒到齊的時候，你們趕快發起進攻，打敗他們的前鋒，挫傷他們的士氣，就可以擊潰秦軍了。”

朱序走了以后，謝石再三考慮，認為壽陽的秦軍兵力很強，沒有把握打勝，還是堅守為好。謝安的兒子謝琰勸說謝石聽朱序的話，盡快出兵。

謝石、謝玄經過一番商議，就派北府兵的名將劉牢之率領精兵五千人，先對洛澗的秦軍發起突然襲擊。這支北府兵果然名不虛傳，他們像插了翅的猛虎一樣，強渡洛澗，個個勇猛非凡。守在洛澗的秦軍，不是北府兵的對手，勉強抵擋一陣，敗了下來，秦將梁成被晉軍殺了。秦兵爭先恐后渡過淮河逃走，大部分掉在水里淹死。

洛澗大捷，大大鼓舞了晉軍的士氣。謝石、謝玄一面命令劉牢之繼續援救硤石，一面親自指揮大軍，乘勝前進，直到淝水(今淝河，在安徽壽縣南)東岸，把人馬駐扎在八公山邊，和駐扎壽陽的秦軍隔岸對峙。

苻堅派出朱序勸降以后，正在洋洋得意，等待晉軍的投降，突然聽到洛澗失守，像頭上挨了一下悶棍一樣，有點沉不住氣。他要苻融陪著他到壽陽城樓上去看看對岸形勢。苻堅在城樓上一眼望去，只見對岸晉軍一座座的營帳排列得整整齊齊，手持刀槍的晉兵來往巡邏，陣容嚴整威武。再往遠處看，對面八公山上，隱隱約約不知道有多少晉兵。其實，八公山上并沒有晉兵，不過是苻堅心虛眼花，把八公山上的草木都看作是晉兵了(文言是“草木皆兵”)。

苻堅有點害怕了，他轉過頭對苻融說：“這確實是強大的敵人啊！怎么能說他們弱呢？”打那以后，苻堅命令秦兵嚴密防守。晉軍沒能渡過淝水，謝石、謝玄十分著急。如果拖延下去，只怕各路秦軍到齊，對晉軍不利。

謝玄派人給苻堅送去一封信，說：“你們帶了大軍深入晉國的陣地，現在卻在淝水邊擺下陣勢，按兵不動，這難道是想打仗的嗎？如果你們能把陣地稍稍往后撤一點，騰出一塊地方，讓我軍渡過淝水，雙方就在戰場上比一比輸贏。這才算有膽量呢！”

苻堅一想，要是不答應后撤，不是承認我們害怕晉軍嗎？他馬上召集秦軍將領，說：“他們要我們讓出一塊陣地，我們就撤吧。等他們正在渡河的時候，我們派騎兵沖上去，保管能把他們消滅。”

謝石、謝玄得到苻堅答應后撤的回音，迅速整好人馬，準備渡河進攻。約定渡河的時刻到來了，苻堅一聲令下，苻融就指揮秦軍后撤。他們本來想撤出一個陣地就回過頭來總攻。沒料到許多秦兵一半由于厭惡戰爭，一半由于害怕晉軍，一聽到后撤的命令，撒腿就跑，再也不想停下來了。

謝玄率領八千多騎兵，趁勢飛快渡過淝水，向秦軍猛攻。

這時候，朱序在秦軍陣后叫喊起來：“秦兵敗了！秦兵敗了！”后面的兵士不知道前面的情況，只看到前面的秦軍往后奔跑，也轉過身跟著邊叫嚷，邊逃跑。苻融氣急敗壞地揮舞著劍，想壓住陣腳，但奇兵像潮水般地往后涌來，哪里壓得住。一群亂兵沖來，把苻融的戰馬沖倒了。苻融掙扎著想起來，晉兵已經從后面趕上來，把他一刀砍了。主將一死，秦兵更是像脫了韁繩的驚馬一樣，四處亂奔。

陣后的苻堅看到情況不妙，只好騎上一匹馬拼命逃走。不料一支流箭飛來，正好射中他的肩膀。苻堅顧不得疼痛，繼續催馬狂奔，一直逃到淮北才息了口氣。晉軍乘勝追擊，秦兵沒命地潰逃，被擠倒的、踩死的兵士，滿山遍野都是。那些逃脫的兵士，一路上聽到風聲和空中的鶴鳴聲(文言是“風聲鶴唳”，唳音lì，就是鶴鳴聲)，也當作東晉追兵的喊殺聲，嚇得不敢停下來。謝石、謝玄收復了壽陽，派飛馬往建康送捷報。

這一天，謝安正跟一個客人在家里下棋。他看完了謝石送來的捷報，不露聲色，隨手把捷報放在床上，照樣下棋。客人知道是前方送來的戰報，忍不住問謝安說：“戰事情況怎么樣？”謝安慢吞吞地說：“孩子們到底把秦人打敗了。”客人聽了，高興得不想再下棋，想趕快把這個好消息告訴別人，就告別走了。

謝安送走客人，回到內宅去，他的興奮心情再也按捺不住，跨過門檻的時候，踉踉蹌蹌的，把腳上的木屐的齒也碰斷了。

經過這場大戰，強大的前秦大喪元氣。苻堅逃到洛陽，收拾殘兵敗將，只剩下十幾萬。但是慕容垂的兵力卻絲毫沒受到損失。不出王猛所料，鮮卑族的慕容垂和羌族的姚萇終于背叛了前秦，各自建立了新的國家——后燕和后秦，苻堅本人也被姚萇殺了