李淵據說是西漢名將李廣和十六國時期西涼國開國君主李暠之後裔。因爲隋文帝的獨孤皇后是李淵的姨媽，所以身爲“官二代”的李淵仕途一直很順，北周時歷任御史大夫、安州總管、柱國大將軍。隋煬帝即位後，李淵任滎陽(今河南鄭州)、樓煩(今山西靜樂)二郡太守。大業十一年(615年)，拜山西河東慰撫大使。在拜山西河東慰撫大使期間，李淵展示出了高超的武功，史書記載，他與龍門賊作戰，“射七十發皆中，賊敗去，而斂其屍以築京觀，盡得其箭於其屍”。後來又與絳州賊柴保昌部作戰，“降其衆數萬人”。突厥侵犯邊境，李淵巧設伏兵，以少勝多，打敗了突厥。兩年後，李淵升爲太原留守，成爲封疆大吏。
當時，人民不滿隋煬帝的暴虐統治，紛紛起義，隋朝的政局陷入動亂之中。看到很多人起兵反隋，隋煬帝愈加疑神疑鬼，以“猜忌殺戮大臣”。他曾經召李淵去江都議事，正趕上李淵生病，不能前行。隋煬帝便心生猜忌，問：“可得死否?”李淵知道此事後非常害怕，不知道該怎麼辦，只好借酒澆愁。
就在老爸還爲如何避禍而糾結之際，二兒子李世民已經着手做起兵反隋的準備工作了。《資治通鑑》載：“世民聰明勇決，識量過人，見隋室方亂，陰有安天下之志，傾身下士，散財結客，鹹得其歡心。”揹着老爸，李世民招納死士，與劉文靜、裴寂等人謀舉大事。爲了讓老爸下決心造反，李世民還與裴寂密謀，故意讓李淵犯死罪。裴寂選隋煬帝晉陽行宮的宮人私侍李淵。
李淵不知，在稀裏糊塗中就睡了“皇帝的女人”。事後，李淵與裴寂飲酒，酒酣之際，裴寂才把要起兵反隋之事告訴李淵，李淵大驚。裴寂接着說：“我選的那個侍奉您的女人正是隋煬帝的晉陽宮人，這事若被隋煬帝知道，您犯的也是死罪。我們這麼做，爲的就是促使您下決心起兵反隋。”
李世民也勸李淵起兵，他說：“現在皇上無道，百姓窮苦。您若守小節，下有寇盜，上有嚴刑，隋朝很快就會亡掉了，反不如趁機起兵反隋，轉禍爲福。”李淵最初不答應，還把二兒子李世民抓了送官。李世民說：“我看天下大勢就是這樣，所以才這麼勸您。您要非把我抓了送官府，您就抓吧。”遇到了強悍的兒子，李淵也沒脾氣了，說：“我這麼喜歡你，怎麼忍心向官府告發你呢?”
後來經李世民、劉文靜、裴寂等人的再次勸說，李淵遂在大業十三年(617年)五月起兵反隋。李淵反隋後，一面遣劉文靜出使突厥，請求始畢可汗派兵馬相助，一面招募軍隊，率師南下，趁李密與王世充在洛陽激戰正酣之際，乘隙進取關中。
十一月，李淵攻下長安，在關中站穩了腳跟。李淵入長安後，立煬帝孫代王楊侑爲天子(隋恭帝)，改元義寧，楊侑尊隋煬帝爲太上皇;又以楊侑名義自加假黃鉞、使持節、大都督內外諸軍事、尚書令、大丞相，進封唐王，總理萬機。
次年(618年)，李淵稱帝，改國號唐，定都長安。不久唐統一了全國。
