公元604年，隋煬帝楊廣登基後，窮兵黷武，大興土木，開鑿運河，人們怨聲載道，最終演變爲全國各地風起雲涌的農民起義。公元615年，隋煬帝楊廣命表弟李淵爲太原留守，北邊防備突厥，境內鎮壓農民起義。
李淵和隋煬帝楊廣還有一層關係極爲特殊，他們是姨兄弟，李淵的母親和楊廣的母親是親姐妹，所以李淵是隋朝的重臣。隋朝眼看要滅亡，李淵要麼做楊廣的忠臣和隋朝一起滅亡，要麼拋棄隋朝，在風起雲涌的起義中分一杯羹，他選擇了後者。正當李淵、李世民密謀起兵時，李淵屬下的一個校尉叫劉武周的，發動兵變，殺死馬邑太守，自稱天子，國號定楊。這可不得了，按連帶責任李淵不殺頭也要下獄的。此危急情勢下，李淵對李世民說：“事急矣，可舉事。”
六月，正式起兵。李淵自爲大將軍，以大兒子李建成、次子李世民分別爲左、右大都督，以四子李元吉留守太原，兵髮長安。十一月，攻克長安。立隋煬帝的孫子代王楊侑爲皇帝，尊隋煬帝爲太上皇，李淵自爲大丞相、唐王。這時隋煬帝還在孤島揚州困着，眼睜睜看着李淵起兵，無能爲力。短短四個月，李淵父子就以太原的兵力，攻入長安。他們採取了什麼策略，進軍這麼神速呢?
一是李世民設局“逼”李淵造反。當時，隋政權已呈土崩瓦解之勢。李淵也動過逐鹿中原的念頭，但考慮到跟隋朝皇室的關係和造反的風險，遲遲拿不定起兵的主意。於是，李世民派裴寂趁着李淵醉酒的機會，偷偷地將皇帝行宮裏的幾位美女送入他的寢室中，陪他過夜。李淵酒醒後發現身邊有皇宮美女，大驚之餘差點沒嚇死。這可是給皇帝戴帽子，殺頭大罪啊，沒辦法無奈地答應了李世民起兵。
二是東結突厥。桃色事件後，李淵爲避免突厥包抄後路，立即親自寫信給突厥始畢可汗稱臣，並說明起兵的好處。起兵南下之前，突厥送來戰馬千匹。南下至龍門時，突厥始畢可汗又派500人、2000匹馬趕來助戰。突厥人、馬的補充，使李淵的騎兵力量大大增強。
三是東和李密。李淵起事後，東面還有30萬人馬、戰將千員的李密起義軍，爲不致成爲自己的掣肘，李淵也給李密寫了一封信，信中一面吹捧李密，表示對李密的擁戴;一面表示自己胸無大志，無意滅隋，從而使李密放鬆了對他的警惕防範。
四是乘虛而入。當時，隋煬帝遠在江都(今江蘇揚州)，關內隋軍力量薄弱;中原瓦崗軍與王世充激戰方酣，均無暇西顧。因此李氏父子進軍神速，十一月間攻入長安。次年三月，隋煬帝在江都被宇文化及所殺，五月，李淵廢黜楊侑，自己稱帝，改國號唐，隋朝滅亡，唐朝建立。
晉陽起兵是李唐王朝推翻隋朝的第一步，也是極爲關鍵的一步。由於李世民修改了史書，所以後世史學界對於晉陽起兵的細節一直有爭議。到底誰參加了晉陽起兵的密謀呢，公認的看法是四個人，重要程度排名如下：李淵、裴寂、劉文靜、李世民。當時大兒子李建成在河東暗自廣結英豪，招兵買馬。
