不久，公卿大臣一起上书，请李世民举行封禅。
魏征坚决反对，认为不可。
李世民问：“我想让您尽情说说这事。难道我的功业还不高吗？道德还不厚吗？天下还没治理太平吗？异族不仰慕我的仁义吗？为什么不能封禅？”
魏征回答说：“陛下的功业虽然很高，但百姓受到的恩惠还不多；陛下的道德虽厚，但恩泽还没有遍及每一个角落；天下虽已太平，还不足以供应用度；异族仰慕仁义，但还不能满足他们所求；祥瑞虽然到来，但网罗还很密；虽然连年丰收，但仓库还嫌空虚；因此，我认为还不到举行封禅的时候。臣不能用很远的事来比喻，暂且借人来打个比方。现在有一个患病十年的人，经过医治已经好了，但体力还未恢复，就想让他背一石米，一天走一百里路，一定是做不到的。隋朝的祸乱，不只十年，陛下像良医一样把它治好，疾苦虽然治好太平无事，但财物还不是很充实，向天地祭告说已经功成业就，我私下还有些怀疑。而且陛下东去泰山封禅，各国都要派使者前来祝贺，域外极远的地方，没有不奔走前来的。现在伊水、洛水以东，直到海边，灌木丛生，大泽纵横，苍茫千里，人烟断绝，鸡犬不闻，道路荒凉，行旅艰难，怎么可以引那些异邦外人进入，看到我们的虚弱？就是竭尽财力给以厚赏，也不能满足异族的欲望；即使连年免除赋役，也不能抵偿百姓的劳力费用。再遇上水旱灾害，风雨的变幻，庸人肆加议论，即使后悔也不能追回了。哪里是惟独臣诚恳规谏，也有众人的讽诵。”
李世民听后不能反驳，也就停止了封禅的行为。
这一点，隋炀帝就远远比不上，他打算攻打高句丽，建立不世伟业，成就自己的虚名，就有人劝告他不要这样做，也是因为劳民伤财，但是，隋炀帝坚持去做了，所以，隋亡；李世民也是为了自己的虚名，想要封禅，结果魏征一阻止，他就不去做虚荣的事情了。
唐兴隋亡，也是因为如此！
魏征就这样战战兢兢，勤勤恳恳地对李世民尽忠着，一直到他病危。
李世民得知魏征病重，当下亲自去到魏征的府第，抚摸着魏征流泪，问他有什么要求。
魏征说：“寡妇不愁织布的纬线少，而忧虑宗周的危亡。”
过了几天，李世民夜里梦见魏征像平时一样，而到了清晨，魏征去世的消息就奏报上来了，时年六十四岁。
李世民非常伤心，亲自到魏征家中吊唁，哭得非常悲伤，下令停止上朝五天，追赠魏征为司空、相州都督，赐谥号文贞，宫廷供给手持羽葆、班剑的仪仗队和吹鼓乐手共四十人，送给办丧事用的绢帛千段、米粟千石，让魏征陪葬昭陵。 将要下葬的时候，魏征的夫人裴氏说：“魏征平生节俭，现在让他按一品官的礼节安葬，所需仪仗、器物极多，不符合魏征的心意。”对朝廷供给的一切仪仗和物品都推辞不受，竟用布车载棺柩，没有花纹色彩等装饰。
李世民登上御苑中的西楼，望着魏征的灵柩痛哭，诏令百官把魏征的灵柩送出郊外。
他又亲自为魏征做碑文，并将它书写在石上。
魏征死后，李世民对他追思不已，赐给实封九百户。
有一次上朝时，李世民感叹地对侍臣说：“用铜做镜子，可以端正衣冠；用历史做镜子，可以知道兴衰更替；用人做镜子，可以了解得失。朕常保持这三面镜子，用来防止自己的过失。现在魏征去世，我失去了一面镜子！”
魏征，用他一声的骨鲠，终写就生命华美的篇章，在史册上留下君臣的典范，流芳千古。