呂不韋晚年沒有給自己的人生畫上圓滿的句號。
鑑於他和嬴政的特殊關係，在平定嫪毐叛亂後，呂不韋僅被免去了丞相的職務。但是，嬴政自幼年起所經歷的畸形的家庭生活，給他身心留下了太多的傷痛。他親眼目睹了母親放蕩、不檢點的生活，甚至自己都是十七八歲的大小夥子了，呂不韋還明目張膽地入後宮和母親廝混，尤其那個嫪毐，簡直是一頭牲口。嫪毐已被鎮壓，嬴政不擔心了，可呂不韋還在咸陽，他如果哪天再入後宮，和太后舊情重燃，豈不又惹麻煩？
嬴政畢竟是政治家，他從秦國穩定、秦國發展的高度考慮問題，再次做出決定，讓呂不韋離開咸陽，到封地洛陽，“就國河南”。應該說，嬴政做出這樣的決定，依舊給足了呂不韋的面子。到洛陽，你食十萬戶租稅，你還是文信侯，依舊享受榮華富貴，而且遠離了政治中心，還落得個安全、清淨。從這點看，嬴政用心良苦，爲呂不韋安排了安度晚年的去處，也算是解決他們特殊關係的最佳方案吧。
呂不韋怎麼辦？他要是真聰明，應該心悅誠服地到洛陽去，低調做人，閉門謝客，“韜光養晦”，總結自己從政以來的得與失，安度晚年。
但是，呂不韋沒有這樣做，他自以爲在洛陽可以積攢力量，發展勢力，也許還會有些“作爲”，甚至東山再起！
來洛陽後，呂不韋果然又活躍起來了，他廣泛交結，家中整日酒席不斷，高朋滿座，前來拜訪、探望的各國使者賓客絡繹不絕。《史記·呂不韋列傳》載：“歲餘，諸侯賓客使者相望於道，請文信侯。”
呂不韋在洛陽的活動，很快傳到政治嗅覺很敏感的嬴政那裏。嬴政剛親政，需要穩定，沒想到呂不韋不接受教訓，耐不住寂寞，這真不能容忍！嬴政終於感到必須對呂不韋採取最後的一招了。
秦王政十二年（公元前235年）他派人給呂不韋送了一封信，呂不韋打開一看，只見上面寫道：
“君何功於秦？秦封君河南十萬戶？君何親於秦？號稱仲父！與其家屬徙蜀！”這封信是嬴政對呂不韋政治地位和親情關係的徹底否定：
第一，你呂不韋對於秦國無功，不應該享受租稅食邑；
第二，你呂不韋與我無親，不該稱仲父。一個既無功又與我不沾親的人，跟我有何關係，趕快遠遠的離開這裏！
按說，君主處死一個失勢下野的大臣，用不着說這麼多的話，可是嬴政卻非要對呂不韋給個說法。可是這個說法卻泄漏了“天機”，所謂“無功”、“無親”純屬正話反說，恰恰是“有功”、“有親”。面對這樣一封絕情信，呂不韋無言可辯，他後悔自己的失誤，感嘆自己的命運不濟，但一切都晚了。不久他喝下毒酒自殺。
關於呂不韋之死，還有一種說法，他是在遷蜀路上服毒自殺的。司馬遷在《太史公自序》中說“不韋遷蜀，世傳《呂覽》。”學術界不少人認爲，呂不韋得知遷蜀而自殺，未曾至蜀。
從呂不韋棄商從政，建立顯赫功績，到一再失誤，落得悲慘結局，可以看出，他始終以商人投機的心態和“贏利”的價值觀處理事務。他的謀略和活動能量都是超一流的，任丞相一職也名副其實，但他在處理個人問題上就不那麼聰明瞭，他私心太重，有利就鑽，見便宜就佔，終於使嬴政改變了對他的看法，政治關係取代了情感關係，呂不韋晚節不保，身敗名裂，爲後人留下深深的思索。
