在《隋唐演義》中，李勣成了“牛鼻子老道”徐茂公，變成諸葛亮、吳用一類羽扇綸巾，掐指運算的軍師人物。“牛鼻子老道”，古代對道士譏諷的稱呼。
不過，李勣能歷仕唐初三代帝王，沒有十分精明謹慎，善於審時度勢智慧，恐怕是難以做到的。
李勣，本姓徐，名世勣，曹州離狐人，隋末徒居滑州。高宗時，爲避太宗李世民諱，改爲李勣。
徐家原本就富甲一方，據說“家多僮僕，積慄數千鍾”， 李勣與其父徐蓋都樂善好施，獲得鄉里好評。
李勣十七歲那年，見天下大亂，就參加了瓦崗寨的起義軍。他勸瓦崗寨首領翟讓，說：“附近是您與我的家鄉，鄉里鄉親，不宜侵擾，宋、鄭兩州地近御河，商旅衆多，去那裏劫掠官私錢物非常方便。”
翟讓聽從了他的意見，沒過多久，就在運河上劫取了無數公私財物，有錢能使鬼推磨，瓦崗不久就壯大起來。
隋將張須陀親率兩萬大軍前來討伐，翟讓嚇得差點尿褲子，李勣請命出戰，僅需一會兒工夫就將張須陀斬下馬，大敗隋軍。
李勣得知天下英雄李密兵敗逃亡後，與王伯當一起勸說翟讓“禪位”李密，以便擴大瓦崗寨的影響。
但是，李密取代翟讓後，卻處處防着李勣，“勣嘗因宴會刺譏氣短，密不懌，使世勣出鎮黎陽，雖名委任，實亦疏之。”
當時，河南、山東一帶發生水災，由於朝廷賑災不力，遍地餓殍。
李勣勸李密：“天下大亂，本是爲飢。如果我們攻陷黎陽國倉，大事可成啊。”
李密聽後，覺得有道理，隨即派李勣率五千人渡黃河成功襲擊黎陽倉隋朝守軍，開倉濟民，僅僅幾天就有二十多萬人蔘加瓦崗軍。一年後，煬帝在江都被殺，越王楊侗在洛陽即位，大赦李密等人，還封李勣爲右武侯大將軍，讓他們率軍討伐宇文化及。
不久，李密與王世充在洛陽決戰，卻遭慘敗。李密本想投靠黎陽的李勣，有人勸他：“殺翟讓之時，李勣被亂兵砍傷差點死掉，他能不記仇嗎？現在投奔他，靠得住嗎？”最後，李密與王伯當只好投奔當時在關中稱帝的李淵。
此時李密的地盤全被李勣繼承，面臨人生的三個選擇：割地稱王；降唐；和其他軍閥 。
但李勣卻說：“魏公李密已歸大唐，如果我自己上表向唐主獻地，是自邀功勞而彰主公敗績，還是把土地人口軍人數目造冊，總啓魏公，讓魏公自獻”。於是派使者前往長安傳信。
李淵獲訊後急忙召見李勣使者，卻發現只有給李密的信，十分驚奇。使者只好一五一十地道明原委，沒想到李淵聽後反而大喜，認爲李勣“感德推功，實純臣也”，隨即下詔封他爲黎陽總管、萊國公，不久又封右武侯大將軍，並賜國姓李。
不料，李密又叛唐，遭誅殺。而李勣卻高調請求李淵網開一面，讓他爲李密收屍。李淵還能說什麼呢。《舊唐書》稱：“朝野義之。”
玄武門之變時，李世民十分想讓李勣爲自己賣命，當時很多人都認爲李勣是李世民的得力干將，一定會站在秦王一邊。玄武門前夜李世民力邀李勣共商大計時，沒想到他卻默不作聲。
當然，以太宗的爲人，還是重用李勣的。
貞觀十五年，太宗任命李勣爲兵部尚書，還未赴京上任，薛延陀部又犯大唐邊境。朝廷委任李勣爲朔州行軍總管，僅率三千騎兵就將幾萬多人的薛延陀追趕至青山，並斬殺斬一名薛延陀王，俘虜五萬多人。
班師回朝後，由於長期奔襲於高原，李勣突遇暴疾。太醫開出一副藥方，要用鬍鬚灰做藥引。太宗聽聞，立即自剪鬍鬚，爲李勣和藥。李勣聽說後，十分感動。
不久，李勣又隨太宗征伐高麗，攻破遼東、白崖等數城。大破薛延陀部，平定磧北。
太宗臨終前，對太子說：“汝於李勣無恩，我現在把他責出外貶。我死後，你再以新皇名義授他僕射之職，受汝恩遇，李勣必致死力。”於是，下旨任命李密爲疊州都督。
李勣也明白太宗的用意，毫無怨言地帶着全家老小奔赴疊州上任。
果然，登基後的高宗，隨即任命李勣爲尚書左僕射。
儘管位極人臣，李勣爲人還是十分小心謹慎，從沒過問皇帝家事。
乾封元年（公元666年），高麗發生政變。蓋蘇文的一個兒子男生害怕受兄弟迫害，投奔大唐，請求發兵相助。
高宗再次起用李勣，任命他爲遼東道行軍大總管，率軍出征高麗。
李勣大軍一路攻城拔寨，殺到平壤城下，蓋蘇文的另一個兒子男建屢次出兵迎戰，都被打敗。城內的一些人見風向不對，隨即打開城門投降。男建自殺未遂。
唐軍最終攻下平壤城，之後一路凱歌，共獲一百七十六城，六十九萬七千戶。高麗至此重新回到華夏體系，大唐設安東都護府管轄高麗。
由於征伐勞累，加上年事已高，李勣回國後不久就病重去世，時年七十六歲。高宗下旨休朝七日，親自主持葬禮，諡貞武，陪葬昭陵。
後來他的孫子徐敬業起兵反武后，兵敗被誅，剝奪李姓，滿門抄斬。李勣也被削一切官爵，刨墳斫棺，死後都不得安生！
