唐宪宗平定淮西，收复了许多藩镇后，觉得该是享福的时候了，当下派人修葺麟德殿的东廊。
军使张奉国因公费不足，拿出私财用以补助，他向宰相诉说了这件事。
裴度知道后，委婉禀奏皇帝说:"陛下营造宫室，有将作监等司局经管，怎么能让功臣破费家产来营建修缮?"
唐宪宗恼怒张奉国泄露此事，便让他辞官归居。
唐宪宗继续大兴土木，接下来疏浚龙首渠，兴建凝晖殿，里面的雕塑装饰，绮丽光华，将佛寺的花木移植到内宫庭院。
程异、皇甫镈二人兼任度支使、盐铁使时，屡屡进贡超额钱财，帮助唐宪宗营造宫室。
唐宪宗对程异、皇甫镈的巴结非常高兴，当下以平定蔡州时，他们供给了粮饷，授予他们二人同平章事之职。
裴度见唐宪宗走入了奢侈的生活，当下在延英殿面奏时，劝谏唐宪宗。
唐宪宗未同意，裴度便三次上疏论析此事，甚至请求免除自己的相位，唐宪宗都不省悟。
此时的唐宪宗，对正直的裴度，已经有了意见了！
不久，发生了杨朝汶事件，使得唐宪宗对裴度彻底有了意见。
事情的起因是，商人张陟欠五坊使杨朝汶的利息钱，然后潜藏隐迹。
杨朝汶忙对他家搜索，结果在张陟家搜到一个私人记事簿。
杨朝汶给卢载初看，他是那笔记是已故的西川节度使卢坦的手书笔迹。
杨朝汶就逮捕卢坦家的人，都关押了起来。
卢坦的儿子不敢申辩鸣冤，便用自己的钱偿还杨朝汶。
然而，经验证笔迹，却是已故郑滑节度使卢群的手笔。
卢坦的儿子为此事申辩索还代偿的钱。
杨朝汶说:"钱已进缴入宫，不可能再得到。"
御史中丞萧俛与谏官们向宪宗上疏，陈述杨朝汶强.暴蛮横的情况。
裴度与崔群趁延英殿对答策问时，也力陈其暴横情况。
唐宪宗说:"朕要与你们商量东线的军事，这样的小事我自会处置。"
裴度进奏说:"用兵是小事，五坊使追捕无辜平民是大事。军事不顺，可忧的只是山东一地;五坊使滥施暴虐强横，恐怕将会乱了皇城危及天子。"
唐宪宗听了很不高兴，对裴度极度不满了！
这事在裴度的坚持下，唐宪宗不得不将杨朝汶赐死，然后释放所有被拘系的人，把钱还给了卢坦的儿子。
唐宪宗之所以一再维护杨朝汶，就是因为他想用五坊使能够横行霸道，能够为自己捞钱抓人，然后供自己享乐。
他的这个想法，使得原本开创的元和中兴，又开始走向了没落了！
一个国家，最高掌权者，是最重要的人物，只要他的思想出现了一点点偏差，国家就有可能走向衰败！唐宪宗如今以享乐为主的思想，焉能不败国？
他这样的思想，与裴度为国为民的思想越走越远了，裴度也就成了唐宪宗对头了！