竇建德起義軍在河北蓬勃發展的時候，另一支起義軍也在河南崛起，這就是翟讓、李密領導的瓦崗軍。
翟讓是東郡韋城縣(今河南滑縣東南)人，原來在東郡當一名小司法官，因犯法被下獄判了死刑。看守他的獄吏叫黃君漢，知道翟讓是條好漢，便把他放了出來。翟讓逃回家鄉準備起義。韋城縣東南有個叫瓦崗的地方，瓦崗寨現名爲：瓦崗寨鄉，位於河南省安陽市浚縣最南部，緊接新鄉地區，那裏地形複雜，林木茂盛，便於活動。
翟讓便帶着哥哥翟弘、侄子翟摩候等人上了瓦崗，召聚破產農民，舉起了反抗大旗。同郡有二個壯士，一個叫單雄信，一個叫徐世勳。單雄信善使一杆馬架，出神入化，有萬夫不當之勇，後來被人稱爲“飛將軍”。徐世勳不但武藝高強，而且足智多謀。二人各帶領一部人馬加入了義軍，成爲翟讓的得力干將。
不久，翟讓採納徐世劫的建議，到榮陽(治今河南鄭州)、樑郡(治今河南商丘)之間活動，那裏有運河流過，義軍搶劫官府與富商大賈的過往船隻，資糧豐足，隊伍不斷壯大。大業十年(614年)，楊素的兒子楊玄感趁在黎陽督運糧草之機起兵反隋，但因不聽謀主蒲山公李密的計策，不久便被隋兵攻滅。在這期間，翟讓的隊伍乘機迅速發展，成爲河南義軍中最強大的一支。
有一天，濟陰縣義軍首領王伯當帶着李密來見翟讓。原來楊玄感失敗後，李密也在逃亡途中被捕，但他用重金賄賂押送兵，在一次夜宿時鑿牆逃了出來，輾轉來到河南，在起義軍中四處遊說，最後見瓦崗軍力量最強，便由王伯當引薦來投翟讓。李密出身官僚家庭，熟讀兵書史冊，有過人的文韜武略。他見河南衆多義軍各自爲戰，容易被各個擊破，於是說服附近許多小股義軍歸於翟讓旗下，瓦崗軍勢力進一步壯大。
李密又趁機鼓動翟讓說：“現在皇上昏暴，百姓怨怒，就和當年劉邦、項羽奮起滅秦的時候一樣啊。足下有雄才大略，加上士馬精強，完全可以席捲二京(長安、洛陽)，滅掉隋國啊!”翟讓造反是爲了活命，至多不過是佔山爲王，根本不會想到打天下當皇帝，聽完李密的話自嘆不如，對李密漸漸敬重起來。
瓦崗寨五虎將，飛虎將秦瓊、猛虎將邱瑞(來揭祕吧注：邱瑞在林陽關陣亡後，猛虎大將軍變成羅成)、雄虎將王伯當、螭虎將程咬金、烈虎將單雄信。
不久，李密獻策攻佔榮陽外圍諸縣，以便養兵積穀，待機進取。隋煬帝派榮陽通守張須險前來討伐。張須陸袋勇善戰，靡下又有猛將秦瓊(叔寶)與少年英雄羅士信，曾經屢次打敗河南義軍。翟讓一得到消息，害怕得要率衆躲避起來，李密卻信心十足地說：“張須險有勇無謀，又驕又狠，我一戰便能擒殺他。你只管列陣迎戰好了。”
翟讓見李密胸有成竹，便依計行動。張須陸向來礁不起翟讓，結成方陣大張旗鼓前進。翟讓一交戰就敗下陣去，張須隨揮兵追擊，一直追到十里以外的大海寺北面。突然，寺北樹林中衝出一支人馬，擋住去路，正是李密所帶伏兵。與此同時，翟讓撥馬回軍，與王伯當、徐世勳等人一齊殺來，把張須陸團團圍住。張須隨左衝右突，最後被斬殺，秦瓊、羅士信只好下馬投降。於是，隋兵聞風喪膽，義軍威聲大振。
第二年二月，李密又獻計攻下隋朝的大糧倉洛口倉，開倉放糧，在饑荒中艱難掙扎的農民紛紛前來取糧，一路上熙熙攘攘，絡繹不絕。留守東都的隋越王楊侗派大將劉長恭率領一萬五千精兵來奪糧倉，在石子河西排下綿延十餘里的長蛇陣。李密又重施誘敵設伏之計，一舉擊潰長蛇陣，殺死大半隋兵，繳獲大量軍械物資，義軍勢力更加強盛。
當時，社會上流傳着楊氏將亡、李姓將興的歌謠。翟讓迷信天命，又見李密的才能遠遠勝過自己，便主動讓賢，推舉李密爲首領。李密早在等着這一天，也不推辭，安然坐上義軍頭把交椅，號稱魏公，設置元帥府，拜翟讓爲司徒、東郡公，任命單雄信、徐世勳爲大將，讓秦瓊、羅士信及程咬金(知節)等猛將分統八千精銳內軍，其餘將士也都量才授職。
義寧元年(617年)，李密先後攻下回洛、黎陽二大糧倉，那時水災嚴重，餓俘遍野，饑民們扶老攜幼前來就食，踊躍加入起義軍，瓦崗軍急劇增加到數十萬人。李密在攻佔回洛倉後就進逼東都，隋煬帝急忙調遣鎮壓江淮義軍的守將王世充等率領精兵前往救援。
王世充氣勢洶洶地進攻李密，但先後在洛口倉、石子河被李密打得大敗。由於起義軍節節勝利，李密漸漸驕傲自大起來。翟弘等一些起義軍元老很不滿，紛紛鼓動翟讓從李密手中奪回大權。翟讓講義氣顧大局，一笑置之。李密心胸狹窄，痛下殺手，在宴會上謀殺了翟讓兄弟及其一些親屬親信，把徐世勳也砍成了重傷。這次內江雖然很快平息了，但嚴重破壞了起義軍內部的團結，也大大損傷了李密的威信，許多義軍將士認爲李密忘恩負義，軍心開始渙散，埋下了嚴重的隱患。
此後，李密與王世充在東都附近展開了拉鋸戰，前後打了七十多仗，李密勝多負少。到了武德元年(年)七月，在江都殺死隋煬帝的宇文化及率軍北返到東郡(治今河南滑縣東南)，因缺乏軍糧，猛烈進攻郡西南徐世勳守衛的黎陽倉。李密只得暫時與東都講和休戰，全力去救黎陽倉，在童山經過一番血戰，擊退了宇文化及，但部下曉將銳卒也有不少傷亡。
王世充抓住這個機會，率領二萬精兵，與起義軍在鄺山展開決戰。李密戰敗，想去投奔手握重兵駐守黎陽的徐世勳，但他身邊的親信們怕徐世勃記恨當年被打成重傷的事。李密不敢再去黎陽，只好奔到河陽(今河南孟縣南)，與從金墉城撤退的王伯當匯合在一起，準備佔據當地再圖進取。不料衆將已經破膽，完全喪失了鬥志，又不同意。
李密悔恨交加，拔劍要自殺，幸好被王伯當攔住。最後，李密想到當年李淵推崇過自己，便帶領一同逃出的二萬義軍西奔關中，投降唐朝去討官做。來揭祕吧認爲徐世勳是個顧全大局的義士，如果李密投奔黎陽，完全可以重整旗鼓東山再起，可惜他最終選擇了投降唐朝的錯誤道路，結果葬送了起義大業，使轟轟烈烈的瓦崗起義歸於失敗。
