劉伯溫博通經史,無書不讀,尤其精於天文。朱元璋攻下金華,聞知劉伯溫的才學,不惜錢財予以招聘。起初,劉伯溫堅決不答應,後經總制孫炎兩次寫信邀請,劉伯溫才決定出山。劉伯溫到了應天,向朱元璋陳時務十八策。而後劉伯溫憑其才學和神機妙算輔佐朱元璋平定天下,開創了大明王朝。
朱元璋即位後,劉伯溫上奏制定軍衛法,整肅綱紀,凡有過錯的宿衛、宦官等,一律依法懲治,因此人人畏懼劉伯溫。中書省都事李彬因貪圖私利,縱容手下而被治罪。丞相李善長一向私寵李彬,故請求從輕發落,劉伯溫不聽,在祈雨時,將李彬殺死,從此劉伯溫和李善長開始有隙。後來,太祖因事要責罰丞相李善長,劉伯溫勸說道:「他雖有過,但功勞很大,威望頗高,能調和諸將。」太祖說:「他三番五次想要加害於你,你還設身處地為他著想?我想改任你為丞相。」劉伯溫叩首道:「這怎麼能行呢?更換丞相如同更換梁柱,必須用粗壯結實的大木,如用細木,房屋立即就會倒塌。」
劉伯溫相貌堂堂,慷慨而有大節。每當談論天下大事時便聲形於色。太祖知道他非常忠誠,故對他委以重任。每次召見劉伯溫,都要避開他人進入內室,單獨與他長時間密談。劉伯溫也是知無不言。每到緊急危難的關頭,他總是勇氣奮發,計策立定,人莫能測。閒暇之時,便敷陳為王之道。而太祖每次都是洗耳恭聽,常常稱劉伯溫為老先生,並說:「你就是我的張子房啊。」又說:「老先生多次以孔子之言來勸導我。」
劉伯溫性情剛烈,嫉惡如仇,隱居山中後,只是飲酒下棋,從不提自己的功勞。