劉邦晚年寵愛戚姬及其子趙王如意，疏遠呂后，幾次想廢黜呂后所生的太子劉盈(惠帝)而立劉如意，但因大臣反對，只好作罷，爲了皇權的鞏固，劉邦費盡心機，本來他年齡就大，在平定英布叛亂時又中了箭傷，到了長安病情加重，呂后找來名醫，劉邦問他病情，醫生說能治，劉邦一聽口氣，就知道不會好了，氣得大罵醫生：“以布衣提三尺劍取天下，此非天命乎?命乃在天，雖扁鵲何益!”說完賞賜給醫生五十金打發他走了。
呂后看着彌留中的劉邦，問他死後人事的安排：“蕭相國死後，由誰來接替呢?”劉邦說曹參，呂后問曹參之後是誰，劉邦說：“王陵可以在曹參之後接任，但王陵智謀不足，可以由陳平輔佐，陳平雖然有智謀，但不能決斷大事，周勃雖然不擅言談，但爲人忠厚，日後安定劉氏江山肯定是他，用他做太尉吧。”呂后又追問以後怎麼辦，劉邦有氣無力地說：“以後的事你不會知道了。”
劉邦駕崩於公元前195年，即高祖十二年的四月二十五日(6月1日)，享年六十二歲，葬於長陵(在今陝西咸陽)，諡號爲高皇帝，廟號是太祖，葬於長陵。
長陵，位於西安市中心以北約20公里、咸陽市以東約20公里的窯店鎮三義村北，1988年，國務院將其列爲全國重點文物保護單位，長陵又名“長山”，是漢高祖劉邦與皇后呂雉(呂后)的陵墓。
劉邦死後，羣臣議定的廟號是“太祖”，諡號是“高皇帝”，正式的全稱爲“漢太祖高皇帝”，簡稱廟號應該是“漢太祖”，簡稱諡號則是“漢高帝”，而不是人們習慣稱呼的“漢高祖”。
《史記·卷八 高祖本紀第八》曰：“丙寅，葬。己巳，立太子，至太上皇廟。羣臣皆曰：高祖起微細，撥亂世反之正，平定天下，爲漢太祖，功最高。上尊號爲高皇帝。太子襲號爲皇帝，孝惠帝也。令郡國諸侯各立高祖廟，以歲時祠。”
《漢書·卷一下 高帝紀第一下》文字相同，只是恐引起歧義，將《史記》中的“高祖”換爲“帝”。
司馬遷《史記》作“高祖本紀”，首稱劉邦爲“高祖”，蓋司馬氏爲漢世宗孝武皇帝時人，孝武皇帝之皇考爲孝景皇帝，孝景皇帝皇考爲太宗孝文皇帝，孝文皇帝皇考即是太祖高皇帝，對武帝而言，高皇帝是自己的曾祖父。
按《爾雅》：“曾祖王父之考，爲高祖王父”，照理講，漢武帝要稱呼太上皇(高帝之父)爲高祖，但是《爾雅》上文郭注曰：“高者，言在最上。”《釋名》雲：“高祖，高，皋也，最在上皋，韜諸下也。”《潛邱札記》雲：“曾祖之父爲高祖，然自是以上，亦通謂之高祖。”
《周書·康王之誥》：“無壞我高祖寡命”，高祖指文王、武王，這是以曾祖父、祖父稱“高祖”。因爲周文王、武王是肇基建國之王，功高至偉，所以稱高祖，是最上之尊稱。
同樣，漢武帝稱曾祖父高帝爲“高祖”亦是此意，是後世子孫對於先祖的至高稱呼，司馬氏應該是使用當時漢朝對高皇帝的尊稱，以劉邦爲“高祖”。
