朱元璋因事要责罚丞相李善长，刘伯温劝说道：“他虽有过失，但功劳很大，威望颇高，能调和诸将。”
朱元璋觉得奇怪，说：“他三番两次想要加害于你，你还设身处地为他着想？我想改任你为丞相。”
刘伯温叩首说道：“这怎么行呢？更换丞相如同更换梁柱，必须用粗壮结实的大木，如用细木，房屋就会立即倒坍。”
后来，李善长辞官归居，太祖想任命杨宪为丞相，杨宪平日待刘伯温很好，可刘伯温仍极力反对，说：“杨宪具备当丞相的才能，却没有做丞相的气量。为相之人，须保持像水一样平静的心情，将义理作为权衡事情的标准，而不能搀杂自己的主观意见，杨宪就做不到。”
朱元璋又问汪广洋如何，刘伯温回答：“他的气量比杨宪更狭窄。”
朱元璋接着问胡惟庸，刘伯温又回答道：“丞相好比驾车的马，我担心他会将马车弄翻。”
朱元璋于是说道：“我的丞相，确实只有先生你最合适了。”
刘伯温谢绝说：“我太疾恶如仇了，又不耐烦处理繁杂事务，如果勉强承担这一重任，恐怕要辜负皇上委托。天下何患无才，只要皇上留心物色就是了。这几个人确实不适合担任丞相之职。”
后来，杨宪、汪广洋、胡惟庸都因事获罪。
刘伯温在朝廷中当官几年，被授为开国翊运守正文臣、资善大夫、上护军，封诚意伯，食禄二百四十石。
他意识到了朱元璋权力不许他人染指下，决定辞官还乡。
他回乡之后，仍然参加元旦早朝。
直到洪武八年，公元1375年的正月下旬，刘伯温感染了风寒。
朱元璋知道了之后，派胡惟庸带了御医去探望。
御医开了药方，刘伯温照单抓药回来煎服用。
他吃下之后，觉得肚子里好像有一些不平整的石块挤压在一起，让他十分痛苦。
二月中，刘伯温抱病觐见朱元璋，婉转的向他禀告胡惟庸带着御医来探病，以及服食御医所开的药之后更加不适的情形。
这时的他，还以为是胡惟庸要害自己。
哪里知道，朱元璋听了之后，只是轻描淡写的说了一些要他宽心养病的安慰话。
这使刘伯温意识到，害自己的人，很大是朱元璋，胡惟庸说不定就是朱元璋指使的！
三月下旬，刘伯温已经无法自由活动了，他由刘琏陪伴，在朱元璋的特遣人员的护送下，自京师动身返乡。
刘伯温回家后，拒绝亲人和乡里为他找来的一切药石，只是尽可能的维持正常的饮食。
几天之后，刘基自知来日无多，找来两个儿子交代后事。
他交代完后事时，又让刘琏从书房拿来一本天文书，对他说：“我死后你要立刻将这本书呈给皇上，一点都不耽误；从此以后不要让我们刘家的子孙学习这门学问。”又对次子刘璟说：“为政的要领在宽柔与刚猛循环相济。如今朝廷最必须做的，是在位者尽量修养道德，法律则应该尽量简要。平日在位者若能以身做则，以道德感化群众，效果一定比刑罚要好，影响也比较深远，一旦部属或百姓犯错，也较能以仁厚的胸怀为对方设身处地的着想，所裁定的刑罚也必定能够达到公平服人，和警惕人改过自新的目的；而法律若能尽量简要，让人民容易懂也容易遵守，便可以避免人民动辄得咎无所适从，又可以建立政府的公信力和仁德的优良形象，如此一来，上天便会更加佑我朝永命万年。”又继续说道：“本来我想写一篇详细的遗表，向皇上贡献我最后的心意与所学，但胡惟庸还在，写了也是枉然。不过，等胡惟庸败了，皇上必定会想起我，会向你们询问我临终的遗言，那时你们再将我这番话向皇上密奏吧！”
他安排完，于农历四月十六日，卒于故里，享年六十五岁。
刘伯温，在民间传说中，他就是能够呼风唤雨的神仙级别的人物，能与他相提并论的是诸葛亮。实际上，他就是掌握了人性、形势、规律而已。不过，在权力的斗争中，官场的倾扎里，他始终没有脱身，这才导致了悲惨结局。
明朝的王世贞说他：“有人将刘基比作张良，刘基在谋略上确实无愧于张良，但说到做官或不做官的气节，却差得远了。”
可谓抓住了要点！
刘伯温，要是能够像张良一样，及早干净地脱离官场，结局兴许就不一样了！惜哉！