岳飛的第一個女人是劉氏，她也是岳雲和嶽雷的生母。劉氏與岳飛大約於徽宗政和八年結合，這是根據岳雲的出生年月(宣和元年六月)推算出來的。可惜此女不能守節忍受艱苦，先後兩次改嫁，《會編》卷二百七是這樣描述的: 飛執兵權之日，遣使王忠臣往楚州韓世忠處下書，得回書欲歸。臨行世忠囑之曰:“傳語嶽宣撫，宣撫有結髮之妻，見在此中嫁做一押隊之妻，可差人來取之。”(忠臣)回，(密報飛以世忠語，飛不答，世忠上聞。)飛奏言，“履冰渡河之日，留臣妻侍老母，不期妻兩經改嫁，臣切骨恨之，已差人送錢五百貫，以助其不足，恐天下不知其由也。”上令報行。 《要錄》也有相似的記載，卷120紹興八年六月丁卯:飛之在京師也，其妻劉氏與飛母留居相州，及飛母渡河而劉改適，至是在淮東宣撫使韓世忠軍中，世忠諭飛復取之，飛遣劉錢三百千。丁卯以其事聞，具奏:“臣不自言，恐有棄妻之謗。”詔答之。
先說這則記載的真僞吧，臺灣方面的岳飛研究專家對此條記載持僞造的意見，理由是秦檜當權以後，尤其是岳飛身死之後，秦檜指使其子秦(火喜)大肆篡改原始檔案，對岳飛進行攻擊與污衊。而且岳飛家譜中也根本沒有記載過這個劉氏。 大陸方面則完全肯定此條記載的真實性，因爲李心傳在編寫《要錄》的時候，曾經親自看過岳飛的上奏，事見《要錄》卷8建炎元年乙亥注。既然親見岳飛的上奏，這件事的真實性自然是不容置疑的。何況當其實人們普遍對婦女改嫁持寬容態度，秦檜犯不着在這些小節上污衊岳飛。
接着來八卦岳飛的態度。記載比較詳盡:韓世忠告訴岳飛他的結髮妻子嫁給自己手下的一個押隊，讓王忠臣回去告訴岳飛，快點來接結髮妻子回家吧。岳飛聽到王忠臣的密報後，不作回答。結果被韓世忠這個大嘴捅到了皇上那裏，岳飛迫不得已上奏說:“當初渡河的時候，把妻子留在家中侍奉老母，沒料想這廝竟然改嫁兩次，我真是切骨恨之呀。已經派人給她送了五百貫，來幫助她家用，恐怕天下不知道這件事情的原委，(以免有拋棄妻子的謗言流傳)。”
韓世忠只說岳飛的前妻嫁給了一個押隊做妻子，岳飛居然知道她曾經兩度改嫁，這消息是從何而來?耐人尋味呀。如果是在韓世忠通知之前，則說明岳飛恐怕一直在留心自己前妻的動向，只是一直隱忍不發;如果是在韓世忠通知之後，既是切骨恨之，居然還去打聽前妻改嫁幾次的八卦新聞，嗯，感覺岳飛也是八卦愛好者呢。但是，不論之前之後，這樣的舉動恐怕是可以扣上“餘情未了”這頂帽子的。 可是，畢竟是她先負了他，像岳飛這樣血性的男人，對於這樣的女人是是可忍，孰不可忍的態度，於是面對皇帝陛下的撮合，也只有硬邦邦的“切骨恨之”四個字加以回覆。多少舊日耳鬢廝磨舉案齊眉的往事，都因爲這個女人的背叛化作子虛烏有。唉，誰說英雄無情，英雄有情，這情愈真也就愈烈，容不得半分踏錯行差。這個忍心拋棄自己兒子的女人，實在是無福消受這番情真意切呢。
