魏徵與唐太宗兩人之間曾有一段問答。太宗說：我說什麼，你只管當時答應，下來有機會再另外陳述意見，難道不行嗎?魏徵答：“從前舜告誡羣臣說：‘你們不要當面順從我，退下後又有話說。’如果臣當面順從又另找機會陳述意見，這就是‘退下後又有話說’，難道是稷、契事奉堯、舜的辦法嗎?”太宗聽了大笑：“人言魏徵舉動疏慢，我但覺嫵媚，適爲此耳。”
猛一看這段話，感覺魏徵也真會說話啊，將太宗比爲堯、舜，誰聽了不高興呢?但讀接下來這段話，魏徵對太宗絕不是虛誇，“徵拜謝曰：‘陛下導之使言，臣所以敢諫，若陛下不受臣諫，豈敢數犯龍鱗。’”也確實是這麼回事啊，如果趕上萬歷皇帝，就算魏徵說破嘴皮子，對方聽嗎?
人終有死去的那一天，貞觀十七年即公元643年正月，魏徵薨。太宗親臨痛哭，罷朝五日。命九品以上官員都去參加魏徵的葬禮，並“給羽葆、鼓吹，陪葬昭陵”。如此高的待遇，魏家沒全接受，因爲厚葬不符合魏徵生前之志，魏家拒絕了朝廷饋贈的一切儀仗物品，只用一輛布車載着棺柩送到墓地。那天，太宗登上高樓，向西眺望送葬的隊伍，他哭了。賦詩痛悼魏徵：“閶闔總金鞍，上林移玉輦。野郊愴新別，河橋非舊餞。慘日映峯沉，愁雲隨蓋轉。哀笳時斷續，悲旌乍舒捲。望望情何極，浪浪淚空泫。無復昔時人，芳春共誰遣。”
魏徵的墓地是太宗親自定下的，大臣陪葬墓當中數魏徵墓離昭陵最近，他知道將來有一天他會來這裏和魏徵相聚，離得近一些更方便。他親自爲魏徵墓碑撰文書丹。做這樣的事，在李世民一生中，是第一次，也是惟一的一次。
但令人想不到的是，僅僅幾個月以後，當年秋天，太宗就命人將魏徵墓碑推倒。事件導火索有二：一是魏徵曾推薦杜正倫、侯君集，說他們兩人有才幹，能任宰相。後來杜正倫因罪罷官，侯君集以謀反罪被殺，這時有人站出來指責魏徵，說他阿附惡黨。又說魏徵曾記下前後諫爭之言，悄悄拿給史官褚遂良。也就是說，魏徵爲讓自己名垂千古，把什麼都抖落給史官，不顧君王的面子。
太宗大怒。不但“仆倒”墓碑，將字磨去，而且答應魏家的婚事跟着作廢。魏家眼看着衰落下來。兩年以後，遼東會戰，唐軍盡力死戰，方纔破敵。回師途中，太宗悵然，想起魏徵：“魏徵若在，吾有此行邪?”即召其家覲見，“賜勞妻子，以少牢祠其墓，復立碑，恩禮加焉。”
當初碑拉倒，字跡磨去，如今又立起來，官吏一定請示過：字還刻嗎?太宗沒有答應，就這樣吧。一位媒體前輩這樣寫道：“做出那個決定的時候，李世民真正讀懂了魏徵。有些東西是可以磨去的，比如字，有些東西是磨不去的，比如魏徵。立在地上的碑石，再高大，都有傾倒的一天。魏徵活在人的心中，有那些字，是座豐碑，沒那些字，也是座豐碑。”
