李淵據說是西漢名將李廣和十六國時期西涼國開國君主李暠之后裔。因為隋文帝的獨孤皇后是李淵的姨媽，所以身為“官二代”的李淵仕途一直很順，北周時歷任御史大夫、安州總管、柱國大將軍。隋煬帝即位后，李淵任滎陽(今河南鄭州)、樓煩(今山西靜樂)二郡太守。大業十一年(615年)，拜山西河東慰撫大使。在拜山西河東慰撫大使期間，李淵展示出了高超的武功，史書記載，他與龍門賊作戰，“射七十發皆中，賊敗去，而斂其尸以筑京觀，盡得其箭于其尸”。后來又與絳州賊柴保昌部作戰，“降其眾數萬人”。突厥侵犯邊境，李淵巧設伏兵，以少勝多，打敗了突厥。兩年后，李淵升為太原留守，成為封疆大吏。

當時，人民不滿隋煬帝的暴虐統治，紛紛起義，隋朝的政局陷入動亂之中。看到很多人起兵反隋，隋煬帝愈加疑神疑鬼，以“猜忌殺戮大臣”。他曾經召李淵去江都議事，正趕上李淵生病，不能前行。隋煬帝便心生猜忌，問：“可得死否？”李淵知道此事后非常害怕，不知道該怎么辦，只好借酒澆愁。

就在老爸還為如何避禍而糾結之際，二兒子李世民已經著手做起兵反隋的準備工作了。《資治通鑒》載：“世民聰明勇決，識量過人，見隋室方亂，陰有安天下之志，傾身下士，散財結客，咸得其歡心。”背著老爸，李世民招納死士，與劉文靜、裴寂等人謀舉大事。為了讓老爸下決心造反，李世民還與裴寂密謀，故意讓李淵犯死罪。裴寂選隋煬帝晉陽行宮的宮人私侍李淵。

李淵不知，在稀里糊涂中就睡了“皇帝的女人”。事后，李淵與裴寂飲酒，酒酣之際，裴寂才把要起兵反隋之事告訴李淵，李淵大驚。裴寂接著說：“我選的那個侍奉您的女人正是隋煬帝的晉陽宮人，這事若被隋煬帝知道，您犯的也是死罪。我們這么做，為的就是促使您下決心起兵反隋。”

李世民也勸李淵起兵，他說：“現在皇上無道，百姓窮苦。您若守小節，下有寇盜，上有嚴刑，隋朝很快就會亡掉了，反不如趁機起兵反隋，轉禍為福。”李淵最初不答應，還把二兒子李世民抓了送官。李世民說：“我看天下大勢就是這樣，所以才這么勸您。您要非把我抓了送官府，您就抓吧。”遇到了強悍的兒子，李淵也沒脾氣了，說：“我這么喜歡你，怎么忍心向官府告發你呢？”

后來經李世民、劉文靜、裴寂等人的再次勸說，李淵遂在大業十三年(617年)五月起兵反隋。李淵反隋后，一面遣劉文靜出使突厥，請求始畢可汗派兵馬相助，一面招募軍隊，率師南下，趁李密與王世充在洛陽激戰正酣之際，乘隙進取關中。

十一月，李淵攻下長安，在關中站穩了腳跟。李淵入長安后，立煬帝孫代王楊侑為天子(隋恭帝)，改元義寧，楊侑尊隋煬帝為太上皇;又以楊侑名義自加假黃鉞、使持節、大都督內外諸軍事、尚書令、大丞相，進封唐王，總理萬機。

次年(618年)，李淵稱帝，改國號唐，定都長安。不久唐統一了全國。