公元770年，即唐代宗大曆五年四月，湖南兵馬使臧玠作亂，殺潭州(今湖南長沙)刺史兼湖南都團觀察使崔瓘。杜甫正客居潭州，他本因避亂入蜀，由蜀地漂泊到湖南，原想在這裏“強移棲息一枝安”。不料到湖南不久，又要避臧玠之亂了。這時他的二十三舅崔偉正以湖南錄事參軍出攝郴州刺史，屢次有書來招他去，他便攜了全家乘船南下，不料船過衡州，恰值湘江水漲，被阻泊舟於耒陽縣北的方田驛，一連五天不能前進，也得不到食物。
耒陽聶縣令聞訊，派人攜書問候，並饋送牛肉白酒。杜甫非常感激，寫了一首十四韻的長詩代懷，遣人到縣呈聶令，但因水勢未退，無法前行，書未能送到，只好掉轉船頭，重新折回衡州。等到水退，縣令派人在江上尋找杜甫，遍尋無着，以爲杜甫一定死在水裏了，便在耒陽縣北代杜甫建了個衣冠冢，以爲紀念。
由於這衣冠墓的建造，就產生一種傳說，說是縣令送牛肉白酒給杜甫，杜甫吃得太多，捱了五天餓的飢腸不能容納，一夕而卒。
自唐中葉以後，這一傳說流行很廣，新、舊《唐書》杜甫傳都是如此記載，正如李白醉後捉月落水而死的傳說同樣無稽。這傳說的來源有二：
一是鄭處誨的《明皇雜錄》，
一是李觀的《杜傳拾遺》，
二者都和事實不符。《明皇雜錄》雲：“杜甫客耒陽，遊嶽祠，大水遽至，涉旬不得食，縣令具舟迎之。令嘗餽牛灸白酒。移漂寓湘潭間，羈旅憔悴于衡州耒陽縣，頗爲令長所厭。甫投詩於宰，宰遂致牛灸白酒以遺甫，甫飲過多，一夕而卒。”
這記載的錯誤是一目瞭然的。杜甫並沒有抵達耒陽，而是被大水阻於方田驛，方田離耒陽陸路有四十里，舟行須一日始達。時值江漲，被阻於方田不能前進，縣令雖致書並餽酒肉，但並沒有具舟迎他。杜甫送詩於縣令不達，就折回衡州，重返潭嶽，一次都未到耒陽，怎麼會有第二次羈旅憔悴於耒陽縣的事?令長就是縣宰，怎麼既爲令長所厭，又投詩於宰?縣宰也沒有第二次餽送杜甫牛灸白酒。
其實，杜甫是死於潭(今長沙)嶽之間的舟中，旅殯岳陽，歸葬偃師。
