安祿山與楊貴妃的關係，姚汝能在《安祿山事蹟》這樣說：“(安祿山生日)後三日，召祿山入內，貴妃以繡繃子繃祿山，令內人以彩輿舁之，歡呼動地。玄宗使人問之，報雲：‘貴妃與祿山作三日洗兒，洗了又繃祿山，是以歡笑。’玄宗就觀之，大悅，因加賞賜貴妃洗兒金銀錢物，極樂而罷。自是，宮中皆呼祿山爲祿兒，不禁其出入。
另有元稹的《連昌宮詞》也寫道：“祿山宮裏養作兒，虢國門前鬧如市。” 一個大男人和自己心愛的女人在一起共浴，唐明皇難道不警覺，難道玄宗皇帝不怕楊貴妃給自己戴綠帽子：其一，玄宗皇帝非常寵幸楊貴妃。唐明皇晚年猜得到楊貴妃，且是從兒子那裏扒灰得到的，因此對楊貴妃有求必應，且皇宮裏那些玩意早讓楊貴妃玩膩了，楊貴妃想玩點花樣，唐明皇自然不想反駁，畢竟想博美人一笑。其二，皇帝喜歡安祿山，倚之爲朝廷重臣，且鎮守邊疆，屢立戰功。其三，安祿山很會博唐明皇的高興。
事實上安祿山和楊貴妃還真的有緋聞，據說唐朝及唐朝以前，中國女子本來以露胸爲美，但有次楊妃被安祿山抓破了美胸，楊妃爲了不讓皇帝發覺，將胸以絲巾遮住，鑑於楊妃的地位，衆人都稱讚楊妃以不露胸爲美。後宮衆佳麗亦紛紛效仿。最終，民間女子也開始仿，最終到現在。還有一個小故事，說楊貴妃有一次沐浴過後，和唐明皇安祿山在一起閒坐。當下楊妃懶妝便服，翩翩而至，更覺風豔非常。玄宗看了，滿臉堆下笑來。適有外國進貢來的異香花露，即取來賜與楊妃，叫他對鏡勻面，自己移坐於鏡臺旁觀之。楊妃勻面畢，將餘露染掌撲臂，不覺酥胸略袒，賓袖寬退，微微露出二乳來了。
玄宗見了，說道：“妙哉!軟溫好似雞頭肉。安祿山在旁，不覺失口說道：“滑膩還如塞上酥。”他說便說了，自覺唐突，好生侷促，楊妃亦駭其失言，只恐玄宗疑怪，捏着一把汗。那些宮女們聽了此言，也都愕然變色。玄宗卻全不在意，倒喜孜孜的指着祿山說道：“堪笑胡兒亦識酥。”說罷哈哈大笑。於是楊貴妃也笑起來了，衆宮女們也都含着笑。咦，有人感慨道：若非親手撫摩過，那識如酥滑膩來?只道赤心真滿腹，付之一笑不疑猜。如此可見，二人關係的確不一般，但大家礙於皇家顏面，不敢道破。不過安祿山一直耿耿於懷，據說安祿山之所以扯旗造反，還是爲了楊玉環。
