1360年(至正二十年)，被朱元璋請至應天(今南京)，任謀臣，展現一個非常成功的兵法家的才能。劉基針對當時形勢，向朱元璋提出避免兩線作戰、各個擊破建策，被採納。輔佐朱元璋集中兵力先後滅陳友諒、張士誠.等勢力。劉伯溫並建議朱一方面脫離“小明王”韓林兒自立勢力，卻另一方面以“大明”爲國號來招攬天下義師的民心。1367年(至正二十七年)，參與制定朱元璋的滅元方略，並得以實現。共參與軍機八年，籌劃全局。1370年(明洪武三年)，爲嘉勉劉基的功榮，授命劉基爲弘文館學士。十一月朱元璋大封功臣，本想封劉基爲丞相，但劉基一再推脫，只好作罷。這並不是劉基的客氣，而是他明白自己的正直會遭到其他爲官者的排擠。因此申請還鄉。朱元璋授命他爲開國翊運守正文臣、資善大夫、上護軍，並封爲誠意伯。劉基的功勞對於明朝來說可以說是最大的，但每年俸祿只有二百四十石。
即帝位後的朱元璋，心態開始發生變化，“非我族類，其心必異”這是所有帝王的一貫思維，只不過在朱元璋那兒更變本加厲，更刻薄寡情。本來第一個要收拾的是獨攬大權的丞相李善長，因爲李嫉恨劉伯溫，朱元璋就選擇劉伯溫充當殺手。“太祖以事責丞相李善長，基言：‘善長勳舊，能調和諸將。’
太祖曰：“是數欲害君，君乃爲之地耶?吾行相君矣。”基頓首曰：“是如易柱，須得大木。若束小木爲之，且立覆。”(《明史列傳16》)儘管劉伯溫說得都是大道理，不過他心裏應該明白，讓他出來收拾李善長，既是利用，也是試探他的忠誠度。
他一旦受命或可減輕朱元璋的猜疑，然而，脣亡則齒寒，此例一開，以後朱元璋對待開國功臣元老就會換另外一副面孔，此等不義之舉，按劉伯溫的個性是絕不可爲的。正因爲如此，第二年他就請退，告老還鄉了。
