隋代末年，隋王朝的統治日趨腐朽殘暴，它橫征暴斂，荒淫無道，刑罰酷烈，兵役苛繁，結果民不聊生，矛盾激化，最終導致爆發了轟轟烈烈的農民大起義。到公元617年初，農民起義形成了三大起義軍中心，李密瓦崗軍轉戰于河南地區，竇建德起義軍活躍于河北一帶，杜伏威起義軍崛起于江淮地區。他們前仆后繼、英勇斗爭，殲滅了大批隋軍，使隋王朝統治瀕臨于徹底崩潰的邊緣。在農民起義風起云涌的形勢下，一些貴族和地方官吏也抱著各種政治目的，紛紛起兵反隋，李淵父子的太原起兵就是其中之一。

當時，李密所領導的瓦崗起義軍已經解體，李唐政權的主要對手是河北地區的竇建德起義軍和洛陽王世充集團。另外還有杜伏威起義軍活動于江淮地區，隋朝殘余勢力蕭銑集團控制長江中游及粵、桂等地。李淵集團對此采取了遠交近攻、先王后竇、各個擊破的戰略方針：在派遣使者暫時穩住竇建德的同時，由李世民統率唐軍精銳主力進攻東都洛陽，首先消滅王世充集團。李世民大軍在洛陽城下與王世充軍進行了歷時半年的激烈交戰，給王世充軍以重創，拔除了洛陽城外王世充軍的據點，形成了對洛陽城的包圍。王世充困守孤城，糧盡矢絕，處境危急，遂連連遣使向竇建德告急求援。

竇建德充分意識到王世充若被消滅，那么唐軍的下一個進攻目標就會輪到自己身上。“唇亡齒寒”，豈能隔岸觀火，坐視不救。決定先聯合王世充擊唐，然后相機消滅王世充，再進而奪取天下。于是他在兼并了山東地區的孟海公起義軍之后，于公元621年春，親率十余萬兵馬西援洛陽。竇軍連下管州(今河南鄭州)、滎陽、陽翟(今河南禹州市)等地，很快進抵虎牢以東的東原一帶(即東廣武，河南滎陽東北廣武山)。

虎牢為洛陽東面的戰略要地。早在武德四年二月三十日夜，唐軍王君廓部就在內應的協助下，先行襲占該地。李世民在洛陽堅城未下，竇軍驟至的形勢面前，于青城宮召集前線指揮會議，商討破敵之策。會上大多數唐軍將領主張暫先退兵以避敵鋒，但唐宋州(治所在今河南商丘南)刺史郭孝恪、記室薛收等人卻反對這么做。

他們認為，王世充據有洛陽堅城，兵卒善戰，其困難在于糧草匱乏;竇建德遠來增援，兵多勢眾。如果讓王、竇聯手合兵，竇以河北糧草供王，就會給唐軍造成嚴重不利，使李唐的統一事業受挫。因此，主張在分兵圍困洛陽孤城的同時，由唐軍主力扼守虎牢，阻止竇軍的西進，先消滅竇建德軍，屆時洛陽城就能不攻自下。李世民采納了這一建議，立即將唐軍一分為二，令李元吉、屈突通等將繼續圍攻洛陽;自己則率精兵3500人，于三月二十四日先期出發，進據虎牢。

李世民抵達虎牢的次日，即率精騎500東出10公里偵察竇建德軍的情況。他派遣李世積、秦叔寶、程知節等率兵埋伏道旁，自己與尉遲敬德等僅數騎向竇建德軍營前進。在距竇軍軍營1.5公里地處，李世民有意暴露自己，引誘竇建德出動騎兵追擊。待竇騎兵進入預先設伏地點之后，李世積等及時發起襲擊，擊敗竇軍追兵，殲敵三百余人。這次小戰挫抑了竇軍的鋒芒，對竇軍的虛實有了了解。

竇軍被阻于虎牢東月余，不得西進，幾次小戰又都失利，士氣開始低落。四月間，竇軍的糧道被唐軍抄襲，大將張青特被俘，這使得竇軍的處境更為不利。此時，國子祭酒凌敬勸諫竇建德改變作戰計劃：率主力渡黃河，攻取懷州、河陽，再翻越太行山，入上黨，攻占汾陽、太原，下蒲津(今山西永濟西)。指出這樣做有三利：入無人之境，取勝可以萬全;拓地收眾，增強實力;震駭關中，迫使唐軍回師援救，以解洛陽之圍。竇建德認為其言有道理，準備采納，但苦于王世充頻頻遣使告急，部將又多受王世充使者的賄賂，主張直接救洛，終于擱置了凌敬的合理建議，而與唐軍膠著于虎牢一線，越來越陷入被動。

不久，李世民得到情報，說竇軍企圖乘唐軍飼料用盡，到河北岸牧馬的機會，襲擊虎牢。李世民將計就計，遂率兵一部過河，南臨廣武，在觀察了竇軍情況后，故意留馬千余匹在河渚，以誘竇建德軍出戰。次日，竇軍果然中計，出動全軍，在汜水東岸布陣。北依大河，南連鵲山，正面寬達十多公里，擺出一副進攻的架勢。李世民正確地分析了形勢，指出竇軍沒有經歷過大戰，今度險而進，逼城而陣，有輕視唐軍之意。我軍可按兵不動，等待竇軍疲憊之后，再行出擊，以一舉克敵制勝。于是他一面嚴陣以待，使竇軍無隙可乘;一面派人召回留在河(黃河)北的誘兵，準備出擊。

竇建德輕視唐軍，僅遣300騎過汜水向唐軍挑戰，李世民派部將王君廓率長矛兵200出戰。兩軍往來沖擊交鋒數次，未分勝負，各自退回本陣。戰斗呈現膠著狀態。

竇建德沿汜水列陣，自辰時直至午時，士卒饑餓疲乏，支撐不住，都一屁股坐倒在地上，士卒間又爭著喝水，秩序一片混亂，表現出要返回軍營的意向。李世民細心觀察到這些跡象后，即派遣宇文士及率領300精騎經竇軍陣西而來，先行試陣。并且指示說：如竇軍嚴整不動，即回軍返陣：如其陣勢有動，則可引兵繼續東進。宇文士及至竇軍陣前，竇軍的陣勢即開始動搖。李世民見狀，當機立斷，下令出戰，并親率騎兵先出，主力繼進。過汜水后，直撲竇建德的統帥部。

當時竇建德正欲召集群臣議事，唐軍驟然而至，群臣均驚恐失措，紛紛向竇建德處走避，致使奉調抵抗唐兵的戰騎通道被阻塞。竇建德急忙下令群臣閃開為騎兵讓路，但是為時已晚，唐軍已經沖入。竇建德被迫向東撤退，為唐軍竇抗部所緊追不舍。接著李世民所率精騎也突入竇軍大營，雙方展開激戰。李世民又命秦叔寶、程知節、宇文歆等部迂回竇軍的后路，分割竇軍。竇軍見大勢已去，遂驚慌潰逃。唐軍乘勝追擊15公里，俘獲竇軍五萬余人。竇建德本人也負傷墜馬被俘，其余軍卒大部潰散，僅竇建德之妻率數百騎倉皇逃回河北。至此，竇軍被全部殲滅。

唐軍取得虎牢之戰的勝利后，主力回師洛陽城下。王世充見竇軍被殲，內外交困，走投無路，遂于絕望之中獻城投降。

虎牢之戰，唐軍消滅竇建德主力部隊10萬人，接著又迫降了洛陽王世充的殘余守軍，奪取了中原的主要地區，取得“一舉兩克”的重大勝利，創造了我國古代“圍城打援”的著名成功戰例。這也是李唐統一全國的最關鍵一戰。至此，唐王朝的統一事業基本完成。