从朱厚熜的角度看，夏言这两个特点极好；可站在夏言同僚的角度看，夏言这两个特点极不好。夏言恃才傲物，对同僚颐指气使，所以没有好口碑。又因为他不结党，没有人宣传他，所以他很孤立。虽然如此，但在专制政府里，皇上说你行你就行，所以夏言一直稳坐内阁头把交椅。
不过，张居正进翰林院时，夏言的地位已有摇动之势。在当时的政府中，无人可撼动夏言的位置，除了皇帝朱厚熜。朱厚熜对夏言的不满，缘于夏言对他信仰的不敬。朱厚熜狂热地信仰道教，常常让大臣们为他写“青词”——这是一种写在青色纸张上的拍玉皇大帝马屁的优美文字。刚开始，夏言也写，但他精力不在这儿，写来写去，就开始糊弄，最后干脆撂挑子不干了。这是他“豪迈强直”性格的表现，喜欢做的就做，不喜欢做的死都不肯做。夏言撂挑子后，严嵩替补。严嵩文采卓著，又肯用心，所以从他手里拿出去的青词美轮美奂，虔敬无比，看得朱厚熜心花怒放。
严嵩看到了机会，暗地里咬牙切齿，流下欣喜的泪水。他和夏言是同乡，为了升职，他做了多年夏言坚定无畏的谄媚者。夏言被他感动，于是提拔他做了次辅。可在夏言眼中，他就是一条狗。整个中央政府官员都知道，夏言和严嵩讲话，就如同主人命令仆人。当然，夏言不会注意这点，因为他对除了皇帝之外的人态度都一样，嚣张高亢。