之所以說紀曉嵐“悲哀”，是因爲乾隆對他的評價：“朕以你文學優長，故使領四庫書，實不過以倡優蓄之，爾何妄談國事！”真不知道紀曉嵐當時聽到這句話是何表情何心態？
乾隆對紀曉嵐說這句話的背景是這樣的：內閣學士尹壯圖指陳弊政，稱各省督撫“聲名狼藉，吏治廢弛”。而晚年的乾隆早已陶醉在自我美化的怪圈裏，再也聽不進忠言，那些見風使舵的大臣奏議將尹壯圖擬斬。紀曉嵐與尹壯圖之父尹松林爲同年進士，因這層關係，紀曉嵐爲尹壯圖求情，乾隆勃然大怒罵出他心中的真實想法，稱紀曉嵐“不過當作娼妓一般豢養罷了。”
在民間傳說中，紀曉嵐風流倜儻一表人材，他與乾隆這對君臣的關係是賢明的君主能幹的臣子，相互間充滿信任、調侃和幽默。紀曉嵐正直、機智、英俊、灑脫，他與和珅針鋒相對，時時伺機捉弄對手，出他洋相；自己又每每能夠成功避開和珅的報復，整的假亦真時真亦假。
其實，歷史上並非如此，這些故事情節都是人們想當然善意美化的，全屬子虛烏有。據有關資料記載，紀曉嵐真實的形象和民間傳說存在着很大的差異。歷史中真實的紀曉嵐“貌寢短視”。“貌寢”指相貌醜陋；“短視”就是近視眼。這位大學士不光有這些缺點還要加上口吃的毛病，朱珪曾有詩描述紀曉嵐，“河間宗伯奼，口吃善著書。沉浸四庫間，提要萬卷錄。”但客觀地說，紀曉嵐既然能通過各層科舉考試，長相也絕對不是“對不住觀衆”，應該能“過得去”，但紀曉嵐長相不好看卻是無疑的。在乾隆以貌取人的標準下，這些先天不足讓紀曉嵐吃了大虧。
因此，即便紀曉嵐再才華橫溢，他相貌一般般、近視眼、口吃這些“毛病”，是乾隆和紀曉嵐一輩子貌合神離，得不到真正重視的一個重要原因。紀曉嵐難以做乾隆的寵臣、重臣，難以參與重大的政治決策，只能以文字安身立命，只能做乾隆的詞臣。
紀曉嵐曾出任都察院左都御史，因判案不力，部議本應受罰，乾隆卻說：“這次派任的紀曉嵐，本系無用腐儒，只不過是湊個數而已，況且他並不熟悉刑名等事務，又是近視眼他所犯的過錯情有可原。
”一個堂堂學富五車才高八斗的大學士，在他的主子心中竟是個“湊數的腐儒”這般田地，怎能叫人不再說他一次悲哀。紀曉嵐一生中兩次任鄉試考官，六次任會試考官，三次任禮部尚書，這些都是一些無實權的官職，只是大清朝廷花瓶般的擺設而已，是他做詞臣真實際遇的體現。
乾隆皇帝讓紀曉嵐總纂《四庫全書》，只是爲了給自己多抹點脂粉，爲自己的“文治武功”多弄些噱頭。讓紀曉嵐當總纂，這是因爲紀曉嵐在這方面確實有他人無可比擬的才氣，乾隆認爲他只能做一些這類的工作，而並不是把他當成獨當一面的重臣。總纂《四庫全書》時紀曉嵐五十歲，他傾注了大量的精力和心血，以自己博大精深的學識、驚人的意志力，對保存和整理我國古代文化遺產做出了巨大貢獻。紀曉嵐在《四庫全書》上經營十三年，親自撰寫了《四庫全書總目提要》，還編寫了《四庫全書簡明目錄》，他一生的榮耀和輝煌在此達到了頂點。
在纂修《四庫全書》的過程中，紀曉嵐和許多同僚都飽嘗了文字所帶來的窘迫、艱辛甚至家破身亡，後人很難從其中看到“爬格子”的那種愉悅。總纂紀曉嵐、陸錫熊和總校陸費墀等人都因差錯而多次遭到乾隆的呵斥、交部議處、罰賠等處分。
最後，總纂陸錫熊在前往盛京校書途中，連嚇帶凍一命嗚呼；總校對陸費墀因無力負擔修改費用而被革職，鬱鬱而終，死後仍被抄沒房產祖業。紀曉嵐也多次受到訓斥和處罰，在乾隆四十五年（1780年）《四庫全書》覆校完成後，又發現許多訛誤，乾隆又“令紀、陸兩人一體分賠”。同僚和自己的親身遭遇帶給紀曉嵐更深的感觸，也使他真切認識到自身所處環境的險惡。紀曉嵐騰達始於筆硯，以文字走上仕途，在他所生活的乾隆朝也正是“文字獄”達到頂峯的時期，這也一定使紀曉嵐噩夢纏身。
在乾隆三十三年（1768年），紀曉嵐因給親家盧見曾通風報信而捲入鹽政虧空案。和珅抓住時機給了他最致命的打擊，他被髮配到新疆烏魯木齊。在這段時間裏，他的大兒子病亡，愛妾郭彩符也撒手人寰，家破人亡。但紀曉嵐依然堅定地從悲痛中走了出來，兩年後他又回到朝堂。
但是這些並不能妨礙紀曉嵐樂觀的精神，紀曉嵐在69歲那年自題一首輓聯如下：“浮沉宦海如鷗鳥，生死書叢似蠹魚。”把自己比作在官場中起落浮沉的鷗鳥；又說自己如生死書中的蠹魚。這其中表達了他對自身命運的喟嘆，也包含了對自己一生的認識，這也是他畢生經歷的真實寫照。
從這一自輓聯中也可以看出紀曉嵐對官場的厭倦之情，久在官場浮沉的紀曉嵐並沒有體會到多少飛黃騰達的快感，他雖然修煉成了超然世外的態度，可稱得上是看破紅塵，但他的內心更多的時候是充滿孤獨、悽苦的感嘆。
紀曉嵐一生做過翰林院編修、日講起居注官、侍讀學士、詹事府詹事、內閣學士、總理中書科事務、兵部侍郎、都察院左都御史、兵部尚書、禮部尚書、協辦大學士等官，誥受光祿大夫，經筵講官兼文淵閣直閣事，賜紫禁城內騎馬。
嘉慶十年（1805年），82歲的紀曉嵐死於京城，歷雍正、乾隆、嘉慶三朝。嘉慶皇帝御賜碑文有“敏而好學可爲文，授之以政無不達”之句，故諡號“文達”，這是對他文學才能的最高認可。
另外還有“滿清第一才子”、“風流才子”、“幽默大師”和“一代通儒”等稱號，每個稱號後面都爲後世留下諸多令人津津樂道的故事。
