1944年，爲了打通從中國東北到越南的大陸線，扭轉十分不利的太平洋戰局，日軍調集50萬兵力，且陸海空配合，實施“一號作戰計劃”。這是日軍侵華以來在中國戰場上發動的最大規模進攻，史稱“豫湘桂戰役”。同年4月，日軍佔領鄭州，一個月後，許昌、洛陽相繼失守，6月中旬長沙淪陷，隨後日軍向衡陽進犯。
衡陽是連接東南和西南的戰略要地，如果失守，日軍必然會直取桂林。美軍在西南苦心經營的飛機場將化爲泡影，陳納德的幾百架飛機恐怕連降落的地方都沒有了。
此時，駐守在衡陽的是方先覺的國民革命軍第10軍，下轄周慶祥第3師，葛先才預10師，容有略第190師一個團，協防的饒少偉暫54師一個團，共計17600人，但真正投入的戰鬥力不到15000人。
而日軍擔任主攻的是橫山勇第11軍第68師團與第116師團，加上助攻的幾個師團，約10萬人。
6月23日，日軍分左中右三路包抄衡陽。方先覺率第10軍英勇抗擊，但瓦子坪陣地被敵突破，守衛該陣地的一個營長被就地正法，全體將士聞之肅然，此後無一退縮者，多次擊退日軍。
三天後，衡陽城東湘江東岸的機場被日軍佔領，並形成了對衡陽的包圍。之後，日軍就渡過湘江，對歐家町、黃茶嶺，向停兵山、高嶺、江西會館主陣地猛攻。
國軍守軍決心與敵人拼至最後一顆手榴彈。激戰一天後，停兵山、高嶺據點守軍全部犧牲，無一生還，而日軍也被殲二千人以上。惱羞成怒的日軍，在之後的進攻中施放毒氣，守衛五桂嶺陣地之第七連，除不在陣地的特務長、炊事員4人外，全連全部中毒身亡。
7月11日晨，日軍發起第二次總攻擊，向衡陽城垣傾瀉了大量的炸彈--燃燒彈和各種毒氣彈，城內囤積的糧彈，多被焚燬。
但守軍不畏犧牲，在支前羣衆的積極配合下，堅守陣地，抵抗極爲頑強，往返衝殺，對敵逆襲，與日軍反覆爭奪一些要點。張家山小高地，失而復得三次。黑徽聯隊以死傷過半的代價，也無法接近守軍的核心陣地。
四天後，守軍退西禪寺、張飛山，改守第二線。日軍繼續對衡陽城猛烈轟炸，逐次奪取城郊據點，壓縮包圍圈。
第10軍官兵傷亡巨大，加上醫藥匱乏，傷者自願留在陣地，與日軍同歸一盡。
而日軍也付出了重大傷亡，聯隊長一名、大隊長六名相繼被擊斃，不得不於19日再次停止進攻。
日軍經過十天的重新部署，於7月30日進行第三次總攻。首先以飛機大炮向核心陣地和市區狂轟濫炸，緊接着，日軍從南北西三面猛攻核心陣地，戰鬥異常激烈。
期間，中國空軍兩次向衡陽城內投下蔣介石的手令，令方先覺軍堅守衡陽城待援，但日軍拼死圍堵中國援軍。
經46個晝夜激戰，中國守軍未得休整，非戰鬥減員嚴重。陣地相繼失守，將士視死如歸。
最後，方先覺向重慶國府發出最後一份電報稱：“敵人今晨由北門突人以後，即在城內展開巷戰，我官兵傷亡殆盡，再無兵可資堵擊，職等誓以一死爲報國家……來生再見。”蔣介石回電：“祝上帝保佑你們。”
8月8日清晨，衡陽落入敵手。
根據美國國會圖書館記載：此次戰役，中國軍隊死傷1.5萬人，其中7400人捐軀;而日軍則付出了超過7萬人死傷、4.8萬人被擊斃的慘重代價。
這場戰役也導致日本首相東條英機直接下臺。
