首先，李淵聽從劉文靜等人的建議，制定了“乘虛入關，號令天下”的戰略。當時天下雖然羣雄並起，但許多人並無大的志向，只圖據地自保，或是瞻前顧後，猶豫不決。李淵的起兵戰略，以入關奪取長安爲軍事目標，以開創帝業，最終取代隋爲政治目標。在實現目標的過程中，又強調以“廢皇帝(指隋煬帝)而立代王”爲策略。
第二，募集兵士，擴充地盤。李淵起事後，讓部下開倉賑濟貧民，公開募兵。據《大唐創業起居注》記載，每天有千餘人來投軍，“二旬之間，得衆數萬”。
第三，北結突厥。隋末，東突厥汗國崛起，控弦之士40萬人。北方豪強武裝都以突厥爲後援，向其稱臣。李淵也深知以太原爲根據地起兵南下，必須處理好與突厥的關係。否則突厥包抄後路，後果不堪設想。他在出任太原留守時，就曾對李世民說：“歷山飛不破，突厥不和，無以經邦濟時也。”李淵用空城計嚇退突厥兵後，立即親自寫信給突厥始畢可汗，說：“我今大舉義兵，欲寧天下，遠迎主上(指隋煬帝)還，共突厥和親。……若能從我，不侵百姓，征伐所得，子女玉帛，皆可汗有之。”題封署稱“啓”，表示對始畢可汗非常恭敬。始畢可汗得書後大喜，但堅持要李淵稱臣於突厥。李淵爲免突厥包抄後路之患，只好答應。起兵南下之前，突厥送來戰馬千匹。南下至龍門時，突厥始畢可汗又派500人、2000匹馬趕來助戰。突厥人、馬的補充，使李淵的騎兵力量大大增強。
第四，東和李密。李淵起事後，爲使東面有30萬人馬、戰將千員的李密起義軍不致成爲自己進兵關中的掣肘，令溫大雅帶着他的信去見李密，信中一面吹捧李密是當今天下大亂之際唯一能寧世安民的英雄，表示對李密的擁戴;一面剖白自己胸無大志，無意滅隋，從而使李密放鬆了對他的警惕防範。
六月初五日，李淵在晉陽設起義堂(亦稱號令堂)，將軍隊分爲三軍，統稱“義士”。裴寂等尊稱李淵爲“大將軍”。十四日，李淵在晉陽建大將軍府，以長子李建成爲隴西公、左領軍大都督，統率左軍;以次子李世民爲敦煌公、右領軍大都督，統率右軍;以四子李元吉爲姑臧公，統率中軍。以裴寂爲大將軍府長史，劉文靜爲司馬，殷開山爲掾，劉政會爲屬，長孫順德、王長諧、劉弘基、竇琮爲左右統軍、副統軍。並下令開倉放糧。
