很多人知道呂文德，大抵是通過金庸先生的《射鵰英雄傳》和《神鵰俠侶》，在這兩部作品中呂文德的形象很不堪，在《射鵰英雄傳》中，郭靖黃蓉第一次見到安撫使呂文德的時候，呂文德正擁了姬妾，高坐飲酒爲樂，看到郭黃二人嚇得面無人色，嚇了一跳，渾身發抖這些表現連續不斷，金庸借郭靖之感想這麼評價他：
見他統兵方面，身寄禦敵衛土的重任，卻是如此膿包，心中暗暗嘆息。
後來在郭靖帶領軍民禦敵之時，呂文德這般膽怯的，不是鑽在桌底大念“救苦救難高皇經”，就是藏在被窩中瑟瑟發抖。
到了《神鵰俠侶》之中，幾十年過去了，呂文德還是一個屌樣：
安撫使呂文德瞧着這等聲勢，眼見守禦不住，心中大怯，面如土色的奔到郭靖的身前，叫道：“郭……郭大俠，守不住啦，咱……咱們出城南退罷!”郭靖厲聲道：“安撫使何出此言?襄陽在，咱們人在，襄陽亡，咱們人亡!”
黃蓉眼見事急，呂文德退兵之令只要一說出口，軍心動搖，襄陽立破，提劍上前，喝道：“你要是再說一聲棄城退兵，我先在你身上刺三個透明窟窿!”呂文德左右的親兵上前攔阻，黃蓉橫腿掃去，四名親兵一齊摔跌開去。
且先不說呂文德的是非功過，他這人的範兒完全不是金老筆下的那樣。
歷史上呂文德的出場就豪邁異常，氣勢奪人。
呂文德本是個老百姓，有一次去城裏賣柴，把鞋子拉在道旁，南宋名將趙葵偶然看到了他的鞋子，一看之下好傢伙，這鞋足有一尺長，有路人告訴趙葵這是安豐軍的一個賣柴人，趙葵就派專人去尋訪他。
趙葵的人找到呂文德家裏的時候，呂文德打獵去了，傍晚，呂文德帶着打獵的收穫一頭老虎一頭鹿回到家中，呂文德留趙葵的差人住了一宿，第二天就一起去見了趙葵，趙葵特別欣賞魁梧勇悍的呂文德，便將他留在帳前——呂文德就這樣從一個兼職樵夫獵戶變身成爲士兵，開始了他的軍旅生涯。
長度足有一尺的鞋、打獵揹回一頭老虎，這是什麼?先不論武功高下，這分明是蕭峯的氣度風範好不好，再不濟也比得上阿骨打。
再看金老筆下的呂文德，被不經意間賦予了南宋慫貨官員的刻板印象並與郭大俠對照，其實與實情相去千里。
呂文德加入趙葵麾下的時間，一般認爲是1230年代，確切說是宋理宗紹定六年(1233)，當時趙葵正任淮東制置使，正好在呂文德的家鄉這一帶。
成吉思汗死於1227年，所以，《射鵰英雄傳》結束的時候，呂文德甚至還沒有入伍，要到之後的嘉熙元年(1237)時他才被擢爲池州都統制，當時的呂文德根本不可能當上所謂的襄陽安撫使。
呂文德參軍後以邊功起家，他作戰的對象主要就是蒙古軍。
呂文德的軍事生涯大致可以分成四個階段，他最初可能跟隨趙葵參與端平入洛的戰鬥，後來先後在池州、安豐軍(治所在今安徽省壽縣)、儀真(今安徽省揚州市)、濠州(今安徽省鳳陽縣)、五河(今安徽省蚌埠市五河縣)、泗州(故城遺址在今江蘇省盱眙縣境)等江淮一帶抗擊蒙軍。
寶祐二年(1254)七月，理宗下詔“以湖北安撫、知峽州呂文德總統江陵、漢陽、歸、峽、襄、郢軍馬事，暫置司公安，上下應援”，次年七月，“以呂文德知鄂州，節制鼎、澧、辰、沅、靖五州”。呂文德的主戰場從江淮轉移到西南，在播州(今貴州省遵義市)等地築城防守，防止蒙古戰略包抄南宋。
開慶元年(1259)三月呂文德被任命爲保康軍節度使、四川制置副使兼知重慶府，在四川方面獨當一面，有力支持了使得蒙哥折戟的合川保衛戰。
開慶元年九月，忽必烈猛攻鄂州(今湖北省武漢市)，呂文德又從重慶赴援鄂州，呂文德軍進入鄂州加強了城防，使得鄂州堅不可摧。兩個月後，忽必烈因與阿里不哥爭奪汗位北撤，鄂州之圍遂解。朝廷下詔說：
呂文德援蜀之賞未足酬功，今援鄂之勳尤爲顯著，特賜百萬，良田萬頃。
呂文德達到了他戎馬生涯的頂峯，此後他一直擔任京湖制置使，率軍駐防京湖一線，可以說這時起，他才和襄陽有比較密切的關係，這其實已經在《射鵰英雄傳》提到的時間的30年之後。
呂文德的風評不佳，和幾個因素有關：第一是他個人犯過一些包括私開榷場等戰略錯誤，助長了蒙古軍的威風;第二呂文德及其家族的腐敗導致呂氏一族富可敵國而其軍隊“軍無宿儲，萬口藉藉，憤呂掊克”;第三他諂媚賈似道，與賈似道之間有暗中的彼此扶持和勾結;第四包括他弟弟呂文煥、兒子呂師夔、女婿范文虎等呂家軍將領後來降元了。
但是，縱觀呂文德的一生，行伍出身 ，身經百戰，在幾個抗蒙第一線擔任方面大帥，創造了一系列輝煌的戰績，是南宋抗蒙無可爭議的中流砥柱，他的死因也是因爲自己犯的一些戰略錯誤深感愧疚而去世，算得上是一個全始全終的南宋名將和英雄。
他在武俠小說中的形象是被嚴重醜化了，有必要辯誣雪冤、撥亂反正。
