戚夫人因爲自恃得寵，曾經常在劉邦面前哭鬧(史載到達“日夜啼泣”之地步)，意欲爲自己的兒子趙王劉如意以奪取皇太子之位，劉邦在公元前205年(漢二年)六月即已立呂雉之子劉盈爲太子，但即位爲皇帝后，以劉盈仁弱“不類我”爲理由，想要改立戚姬子如意爲太子，因爲“如意類我”，周昌、叔孫通等朝中大臣都堅決反對廢長立幼。
有人爲呂后設謀，讓他找張良，呂后就讓他的哥哥呂澤劫持張良，逼着張良獻計，張良對呂澤說：“陛下在戰爭困難的時候確實能夠聽我的意見，但是，如今是因爲愛而要廢長立幼，這已經不是靠說能了結的事，但是，陛下非常看重的商山四皓(隱居在商山的四位年長的高士)，卻始終請不來，因爲他們認爲陛下對臣下態度一貫傲慢。如果你們想個辦法把商山四皓請出來輔佐太子，讓他們天天陪着太子，特別上朝之時陪伴太子，陛下一定會看見，陛下知道商山四皓輔佐太子，也許會有一用。”
呂后立即付諸實施，呂后派呂澤讓人帶了太子的親筆信，還帶了一份厚禮，請“商山四皓”出山，這四位高士竟然全來了。
公元前195年(漢十二年)，劉邦平定英布叛亂結束，但是，劉邦也在這次平叛中第二次受到致命箭傷，而且，由箭傷引發的疾病更加嚴重，此時的劉邦已經預感到人的生命是有盡頭的;因此，劉邦廢立太子的願望也更加強烈了，張良勸阻無效，託病不再上朝，作爲太子太傅的叔孫通以死相諫，劉邦假裝聽從，實際上廢立太子的想法毫無改變。
一次朝宴，劉邦發現太子身邊有四位八十多歲的老人，鬍鬚、眉毛都白了，服裝、帽子非常講究，劉邦很奇怪，就問他們：你們是誰?四位老人上前回答，並各自報了姓名：東園公、甪里先生、綺裏季、夏黃公。劉邦聽說後大爲吃驚：“我請你們多年，你們逃避我。爲什麼要隨從我的兒子呢?”四位老人回答：“陛下輕視讀書，又愛罵人，我們堅決不願受辱，所以才因爲恐懼而逃亡。如今聽說太子仁孝恭敬，愛護天下讀書人，天下人都願意爲太子效死力，所以我們就來了。”劉邦說：“煩請諸位好好替我照顧好太子。”
四位老人敬完酒，離去，劉邦看着離去的四位老人，指着他們對戚夫人說：“我想更換太子，但是，他們四位高士都來輔佐太子，太子的羽翼已經豐滿，難以撼動了啊!呂后是真正的主人!”戚夫人聽說後，立即失聲痛哭，劉邦說：“爲我跳一曲楚舞，我爲人唱一首楚歌。”歌詞說：“鴻鵠高飛啊，一飛千里。羽翼已成啊，橫渡四海。橫渡四海啊，還能作什麼。即使有弓箭，對於高飛的鴻鵠還有什麼用呢。”
從此之後，劉邦再也不提廢立太子之事。
