至于夏言，他渐渐不喜欢起来。
而夏言，对于皇帝对他的不喜欢并没有发觉。
夏言自视甚高，反对朱厚熜沉迷道教。
有一日，朱厚熜将沉香水叶冠赐予夏言、严嵩等大臣，夏言并不戴上，觉得堂堂内阁大臣，戴这些道家的东西，实在不像话。
严嵩则不然，他每次出朝都会戴此冠，还特地用轻纱笼住以示郑重。
朱厚熜见状，越发喜严嵩而嫌夏言。
此时的夏言不知道道家在朱厚熜心目中的地位。
朱厚熜巡幸大峪山，夏言前往侍候，去得迟了一些。
朱厚熜登时批评了他一顿。
夏言这才害怕起来，赶紧认罪。
朱厚熜大为恼火地说：“夏言本是一个卑微的小官，因为张璁倡议郊礼一事得到提升，竟敢怠慢无礼，上机密奏章不使用朕赐给他的银章，现在朕命令他归还前前后后朕发给他的亲笔敕令。”
夏言这才知道自己的处境危险，当下上书认罪，请不要追索银章和亲笔敕令，让他作为子子孙孙百代光荣，说得很令人伤心。
朱厚熜怒气未消，怀疑他把亲笔敕令毁坏了，命令礼部催讨，并剥夺他少师的勋位，让他以少保、尚书、大学士致仕。
夏言只得把四百多幅亲笔敕令并银章一枚缴上。
过了几天，朱厚熜怒气消了，让人制止他还乡，又以少傅、太子太傅入内阁值勤，夏言上书感谢。
朱厚熜见打压夏言差不多了，当下指示他砥砺初忠，秉公办事，正道做人，以消除众人的怨气。
夏言心里知道所谓众人的怨气，是指郭勋，当下再次上书道谢，说自己不敢自处于别人的后边，一心一意，孤立无援，所以被众人怨恨。
没多久，雷电震坏了奉天殿，朱厚熜召见夏言及顾鼎臣。
夏言没按时来到。
朱厚熜又一次训斥了他，并让礼部揭发他的罪状，夏言等主动认错。
朱厚熜批评他傲慢，并批评了顾鼎臣。过后，才算归还了以前追讨出来的银章和墨宝。
夏言失去了朱厚熜的信任后，严嵩看到机会出来，更是谄言媚语，讨好朱厚熜。
夏言不是傻子，自然知道皇帝对他不信任了，他担心被罢官，当下唤严嵩过去商量。
这时候的夏言，还把严嵩当作自己人，因为，严嵩一直是他提拔起来的人。
哪里知道，严嵩却偷偷地到陶文忠家里计划，把夏言要怎么样把自己取代他的计划和盘托出。
夏言得知后，非常恼恨，才知道严嵩是条白眼狼，提拔这样的人起来，简直是在把自己往死路上推！当下示意谏官一次次弹劾严嵩。
然而，此时的严嵩，已然是得势的严嵩了，朱厚熜正在宠信严嵩，哪里听得进谏官们的话？
夏言和严嵩就此撕破脸皮，誓不共戴天！
严嵩得到朱厚熜宴请和召见时，磕头下跪，诉说夏言怎么欺辱他，泪如雨下！
此刻的严嵩，俨然就是弱者，而夏言，就是邪恶势力！
朱厚熜非常同情严嵩，要他把夏言的罪状全说出来！
严嵩一看机会出来，哪里还有不把夏言往死里整的！当下大揭其短，有的没的，尽量往死里说！
朱厚熜听了，才知道夏言有这么坏，当下大为恼火，写诏书给礼部，一一数说夏言的罪过，并且说：“郭勋已关入监狱，他还千方百计罗织罪名。谏官本是朝廷的耳目，却专听他夏言指使。我不早朝，他夏言就不入阁办事。军国大事，能在他家里裁决；天子说的机密话，他也敢把做儿戏玩。谏官对此不发一言，就这样欺骗君上，使得鬼神怨怒，下大雨伤害了庄稼。”