這樣有才學又賢德的女子註定不會是皇帝心中的永遠。班婕妤專寵多年，但僅生有一子，且生下數月後就夭折了，年長色衰的班婕妤漸漸不再受到成帝的寵愛。天性好色的成帝久居深宮，對後宮中百依百順的嬪妃失去了興趣，經常外出尋找新鮮刺激。鴻嘉三年(前18)，成帝登基的第十五年，歷史上赫赫有名的趙飛燕、趙合德姐妹出現在他的眼前。
在一次微服巡遊中，成帝到陽阿公主府遊玩，當時大貴族的府邸裏面通常會養着大量的歌女舞姬供人取樂，成帝的好運、大漢的黴運就這樣悄然降臨，西漢的混亂局面在曼妙的歌舞之中不可收拾。
在公主府上，成帝對能歌善舞的趙飛燕一見鍾情，當即將她帶入宮中。飛燕入宮之後，趁着皇帝專寵，又讓成帝把同爲歌女的妹妹趙合德也召進後宮。爲了使成帝不致移情別戀、另尋新歡，這兩位出身卑賤的歌女開始殘害後宮中的妃子，最先下手的目標是許皇后。只有把皇后除掉，才能控制後宮，從而登上後宮至尊的寶座。
成帝寵愛趙氏姐妹後，對班婕妤更加冷淡，不再聽她規勸，而是任性地縱情聲色，甚至將定期到皇后宮中問候的禮節都丟到腦後。見識短淺的許皇后怨憤之下聽信親姐姐的建議，在宮裏設壇詛咒懷孕的王美人等人。正在想方設法陷害皇后而無從下手的趙氏姐妹得知後，當即在成帝面前告了許皇后一狀。
成帝大怒，廢掉許皇后，並把皇后的姐姐處死。扳倒了許皇后，趙氏姐妹仍不滿足，她們誣告班婕妤也參與了此事，想借此機會將這位雖不再受寵，但仍然很受成帝尊敬禮遇的才女一併除掉。
成帝對這位生性高潔的女子瞭解很深，所以儘管趙氏姐妹言之鑿鑿，成帝還是半信半疑。他思來想去不知如何是好，最後乾脆親自去問班婕妤。班婕妤回答得光明磊落：“臣妾知道死生有命，富貴在天，天天修身養德還沒有得到福分，做那些奸邪的事情就更沒有指望了。如果世間真的有鬼神，那鬼神怎麼能夠聽信讒言咒語呢?要是沒有鬼神，那些詛咒又有什麼意義?臣妾不但不敢做這樣的事情，也不屑於做這類事情!”成帝見班婕妤說得懇切，很受感動，於是賜班婕妤黃金百斤，來彌補自己心中的羞愧和歉疚。可是猜疑的傷害又怎能是黃金所能彌補的呢?
班婕妤雖然暫時逃過一劫，但後宮已經是趙氏的天下，廢掉皇后不久，成帝便立了趙飛燕爲後。同時，爲了討趙合德的歡心，他又在皇后位置下增設昭儀之位，封趙合德爲昭儀。班婕妤眼見後宮不再安寧，不得不爲自己想一個全身之策，遠離後宮的紛爭。於是她上書成帝，請求前往長信宮去侍奉王太后。
被趙氏姐妹迷得神魂顛倒的成帝此時哪還顧得上一個韶華已逝的班婕妤，毫不猶豫便同意了她的請求。從此以後，班婕妤就在王太后的宮內過着平淡的生活。
班婕妤晚年時將無法排解的宮怨化作一首首清麗的詩詞，一首《怨歌行》(亦稱《團扇詩》)流傳於後世，成爲窺視宮廷怨婦的佳作，留給後世無盡的思緒：“新裂齊紈素，鮮潔如霜雪。裁爲合歡扇，團團似明月。出入君懷袖，動搖微風發。常恐秋節至，涼飆奪炎熱。棄捐篋笥中，恩情中道絕。”千載之後，清人納蘭性德爲這位才女嘆息道：“人生若只如初見，何事秋風悲畫扇。等閒變卻故人心，卻道故人心易變。”
成帝死後，班婕妤按規矩被派到成帝的延陵做守陵宮女。延陵的陣陣松風伴她走完了孤獨的殘生
