可以這麼説，在朱元璋成為皇帝的前後，劉伯温不僅為朱元璋運籌帷幄，決勝千里之外，而且幫助他立綱陳紀，為大明帝國的開國奠基做了極大的貢獻，此二人的關係非常和順，為了表達對劉伯温的感激和對他工作的肯定，朱元璋沒忘給他加官進爵，封他為御史中丞兼太史令。不僅如此，還要追封劉伯温的祖上三代。而此時的劉伯温並未利慾薰心，一方面由於自己到了知天命的年紀，看透了人間世事，另一方面，他非常嫻熟儒家思想和道家理論，因此就沒有像李善長那樣貪婪，更不可能像胡惟庸那樣胡作非為，面對榮譽與名利，他都婉言謝絕了。好在朱元璋並未強行，而是在重賦江南時卻對劉伯温家鄉的税收實行減半。
雖然朱元璋並沒讓劉伯温出任宰相，但在大明開國前後，朱劉關係還是相當不錯的，那麼後來究竟發生了什麼事情使得兩人鬧掰的呢?
劉伯温
二人關係惡化主要來自三大時事件：
劉伯温與朱元璋之間關係的第一次縫隙——明初“李彬案”
洪武元年，徐達率領大明軍北伐節節勝利，朱元璋趕赴汴梁，去考察作為都城的可能性，走前將南京城託付給了劉伯温和李善長共同管理。其中李善長管理日常政務，劉伯温負責監察官場風氣，鑑於“宋、元寬縱失天下，今宜肅紀綱”，劉伯温下“令御史糾劾無所避，宿衞宦侍有過者，皆啟皇太子置之法，人憚其嚴”。
可就在這個檔口，中書省都事李彬將李善長搬進新宰相府後空出來的老宰相府改造成了一個高檔娛樂場所，再讓從張士誠那裏弄來的美女做三陪，進行權色交易和買官賣官。這個案子就叫“李彬案”，表面上看並不複雜，但實際背景卻很複雜，李彬與李善長家公子關係是很鐵的，又是李善長的心腹，跟李善長的紅人胡惟庸關係也很親密。
儘管台前人物李彬賣官鬻爵做的很隱祕，但還是給劉伯温知道了，他決定一查到底，並將結果發加急書信給朱元璋，請示如何處置。朱元璋下令：“殺”，這時候，李善長走出來了，為李彬説情，劉伯温向來嚴格執法，不肯通融，李善長只好找其他辦法，當時南京地區出現大旱，古人迷信，李善長就以此為藉口，請求劉伯温暫緩對李彬行刑，可劉伯温不買賬，還是處決了李彬。
李彬也嘴硬，到死都沒將這個腐敗案中的其他人招出來，李善長逃過了一劫，但從此劉伯温跟李善長結下了樑子，《明史》説，朱元璋回到南京後，李善長為首的淮右集團不斷地向朱元璋告狀，説劉伯温如何不好，如何霸道，藉着皇帝的名望，任意胡來，告狀的人多了，老朱也就分不清是非，於是人們看到，朱元璋並未深究李彬案，而是大加斥責劉伯温的不是。
這次裂隙尚未癒合時，第二次縫隙又不期而至了。
朱劉二人隔閡擴大——劉伯温第一次“天災人事”預言失敗
朱元璋很迷信，尤其相信天人感應，堪輿界老司機劉伯温也特自信，相信自己每次推算都很正確、很靈驗，這種高級迷信其實沒啥正確率，但有一定的巧合性，如果有一兩次應驗也算正常，時間一長，自然會毛病百出，預測者與聽者之間難免引起誤會與矛盾。
明朝開國時的幾次災害都讓劉伯温算準了，但對接下來的這次旱災，劉伯温就沒那麼好的運氣了。話説當時天下大旱，朱元璋找到劉伯温，讓他算算是咋回事，在經過一番觀測後，劉伯温説：“旱災原因有三：一、死亡將士的妻子們全被另行關着，人數約幾萬，陰氣太重;二、南京的工匠死亡太多，並有許多尚未入殮;三、張士誠方投降來的將士不該編入軍户，有違和氣。”朱元璋一向很佩服劉伯温的神機妙算，這次聽完他的指點後就一一糾正前失，該撫卹的撫卹，該赦免的赦免。
但老天照樣是大旱不止，未曾下雨，這將朱元璋惹惱了，恰恰此時，劉伯温得罪過的那羣人又蠢蠢欲動，逮住機會攻擊劉伯温，由此朱元璋與劉伯温的矛盾更加深了。
第三次隔閡的增大——“營建中都”的爭議
由於文人的敏感，劉伯温感覺到了自己在朱元璋眼裏地位的變化，便想及早脱離朝廷這個是非窩，碰巧時年60歲的劉伯温的妻子去世了，他藉口回家奔喪，向朱元璋提出要歸隱老家，從史書看，朱元璋似乎也沒執意挽留他，臨走前，劉伯温向朱元璋道別，順便不忘規勸皇帝注意兩件事：第一，“鳳陽雖帝鄉，然非天子所都之地，雖已置中都，不宜居”;第二，明軍在與元朝殘餘勢力交戰時千萬不可輕視王保保部隊，但剛愎自用的朱元璋並沒聽進去。
回家後的劉伯温心灰意冷，情緒低落，葬了妻子後，打算安度餘生了。誰知，沒幾天，朱元璋卻急吼吼的召他回京，之所以召回劉伯温，一來是由於朱元璋在營建中都鳳陽的事情上出了麻煩，二來是由於徐達在與蒙元王保保交戰時吃了敗仗。這時，朱元璋如夢初醒，覺得劉伯温真了不起，都給説中了，於是讓劉伯温速速返朝，甚至給劉伯温加官進爵，但被其婉拒。
不久，朱元璋想罷免宰相李善長，便跟劉伯温商量宰相人選，在否定了胡惟庸和楊憲後，朱元璋想讓劉伯温出任宰相，沒想到遭到拒絕，而劉伯温説話也有些過頭，什麼我這個人嫉惡如仇，就算李善長被免了，朝中還有惡人和壞人，難道我大明就你劉伯温是君子?劉伯温的話並沒給朱元璋留下好印象，而事後劉伯温的運氣似乎一直不好，處境更不妙。
於是劉伯温又請求歸隱鄉里，朱元璋又同意了，但劉伯温算了一輩子，卻沒算到自己晚年的遭遇。正當他在老家頤養天年時，突然被人陷害。
