1974年年初，王近山漸感身體不適。
11月份，因大吐血，他不得不住進醫院，醫生檢查不出病情，經請示後決定實行手術檢查，一打開腹腔，結果是胃癌。不幸的是，術後腸子又破了，造成腸漏，大便不斷漏出，他又不得不開腹再次做了一次手術。
王近山的病情一傳出，一些戰友和老部下很關切。時任瀋陽軍區司令員的李德生專門買了紅參派人送來，尤太忠也是多次打電話詢問病情。
一天，王近山在北京的結髮妻韓岫巖也聽到了他患癌症的消息，臉“唰”地白了。一晃10年過去了!這些年他們一南一北沒任何聯繫，但時光消融着人間恩仇，過去的恨也好怨也好，點點滴滴都隨風而去了。當初如果她冷靜些不那麼衝動，或許王近山的人生命運不會是現在這樣。對於落魄的王近山，這些年她內心頗有些酸楚和悔意。她的弟弟號稱“一把刀”，是外科主任，她想如果讓他開藥，或親自主刀做手術，或許可以挽救他的性命。
儘管王近山在南京已有自己的家，有名正言順的夫人照料着，韓岫巖還是忍不住買了大包小包的補品想去趟南京，看一眼他。可當她拿起電話接通了王近山的一位老警衛員，含含糊糊表達了自己的心願時，誰知這位和王近山出生入死、對老首長忠心耿耿的警衛員至今不能原諒她，一聽她要去南京，很不客氣地說：“他說過到死也不願再見到你，你去是不是想讓他早點死?”
韓蚰巖木然撂下了電話，無語凝咽。
北京發生的這一切，遠在南京病中的王近山並不知道。但如果他知道這一切，又會怎麼做呢?人們不得而知。幸好，這次在醫院的搶救下，他的病情得到了控制，王近山依然活下來了。
1978年4月下旬，王近山的病情惡化。
在病危時，王近山什麼都不問，只頻頻問及家人：“張立三還沒有來嗎?我一定要見他一面。”
張立三是他的老部下、老戰友，1931年參加紅軍，第二年在紅四方面軍向西轉移時與他在10師30團工作。一年後，他調任10師28團團長，張立三也調到28團當衛生隊長，從此以後在20多年的風雨歲月裏，他們朝夕相處，你救過我的命，我也救過你的命。幾十年來，他們相互之間沒紅過臉，沒大聲說過話，部隊行動，一住下來，就相互看望。有時王近山發火，身邊的人趕快把張立三請來，兩人談一談，立刻就平靜下來了。他們同生死，共患難，結下了深厚的兄弟之情。
王近山在已無生望、即將離開人世之際，唯一的願望就是想見一見幾十年來情同手足的老戰友張立三。
張立三趕到了，兩人一見面，緊握雙手，眼淚奪眶而出。雖然張立三是經驗豐富的醫生，知道重病人不宜過分激動，但兩人誰也不能抑制住這戰友的深情，在這生離死別的時刻，兩位戰友能說些什麼?只有心隱隱在疼。沉默了好久，爲了鬆弛這難耐的氣氛，張立三全然忘記病房內不準吸菸的常識，掏出香菸，正要點火，王近山看到後，以微弱的聲音說道：“你不要吸菸了!”
王近山不吸菸，張立三卻抽得厲害，他曾勸他戒菸也沒戒成。現在王近山又勸了，張立三十分激動地說：“今天我就當着你的面把煙戒掉!”
他當場就將香菸、打火機扔了!
兩天以後，王近山去世了。張立三聽取戰友臨終的勸告，放棄了幾十年吸菸的嗜好。他後來說：“那是1978年5月8日，從那天起我戒了煙。”
1978年5月10日，王近山因病醫治無效在南京逝世，終年才63歲。
臨終前，由於病痛的殘酷折磨，他已骨瘦如柴，彌留之際，雖已神志不清，但在昏迷狀態中，還用微弱的聲音問道：“敵人打到哪裏了?我們誰在那裏?”
他的小兒子回答說：“是李德生叔叔在那裏!”
“李德生上去了，我就可以放心睡一覺了。”
他是聽着專門爲他播放的軍號去世的。王近山去世後，對他的後事，黨中央和有關方面非常重視。鄧小平親自審定了悼詞，對王近山一生給予了充分的肯定和很高的評價。中央軍委補發了王近山爲南京軍區顧問的任命。
5月17日，南京軍區舉行的追悼會十分隆重，鄧小平、劉伯承、徐向前、許世友、李德生、陳錫聯、彭衝、宋任窮等，以及王近山的生前友好送的花圈，擺滿了悼念大廳。追悼會的規模原定500人，實際參加的有1000多人。
很多同志特別是王近山過去領導過的部隊的同志，遠道趕到南京參加追悼會，表達他們對王近山的哀思。王近山爲人民屢建奇功，他得到了應得的崇高榮譽。
