參加過日俄戰爭。歷任教官、騎兵團長、參謀、參謀本部通信課長、騎兵學校教育部長、騎兵旅長、通信學校校長、參謀本部第3部和總務部長、陸軍士官學校校長等職。1937年2月起先後任第12師師長、第3集團軍和華中派遣軍司令，參加全面侵華戰爭。1939年10月任陸軍教育總監。次年晉上將。1941年7～12月兼任民防總司令。1944年7月起任關東軍總司令，主持制定《滿洲方面對蘇作戰要領》，企圖負隅頑抗。1945年8月關東軍被粉碎後，作爲戰犯被蘇軍關押在西伯利亞。1956年獲釋回國。
軍政生涯
長野縣人，陸軍經理官市川確第三子 山田貴之養子。從小接受到武士道精神的教育和薰陶。曾就讀於東京成城學校。1902年11月22日畢業於陸軍士官學校第14期騎兵科(702人中第125名)，翌年6月26日授予騎兵少尉軍銜，任騎兵第3聯隊附。參加日俄戰爭。轉戰大連、瀋陽等地。陸士教官。1912年11月25日畢業於陸軍大學校第24期(54人中第25名)。騎兵第3聯隊中隊長，參謀本部部員，陸軍騎兵學校教官，騎兵監部員，法屬印度支那出差，騎兵第26聯隊長，朝鮮軍參謀，參謀本部通信課長，1930年8月1日晉升陸軍少將。陸軍騎兵學校教育部長，騎兵第4旅團長(九一八事變)，陸軍通信學校長，參謀本部第三部長，參謀本部總務部長，1934年，晉升爲中將。1935年10月，調任陸軍士官學校校長。1937 年日本發動全面侵華戰爭後，作爲侵略軍的指揮官再次來到中國，歷任關東軍第十二師團師團長、第3軍司令官，在任期間，
他多次指揮日僞軍和警察、憲兵、特務，瘋狂鎮壓中國東北的抗日武裝力量，大肆搜捕和屠殺革命幹部和羣衆。1938年12月，他因鎮壓我國東北人民抗日武裝力量"有功"，接替畑俊六任中支那派遣軍司令官，在任內沒有任何表現。1939年調回國擔任教育總監，1940年4月29日授予勳一等旭日大綬章，8月1日晉升陸軍大將。教育總監兼軍事參議官兼防衛總司令官，這當教育總監長達五年。他是日本陸軍歷代教育總監中在任時間最長的。之所以能佔據這一職位如此之久主要是由於他對東條英機的俯首帖耳。東條雖是他的後輩，但在關東軍時卻是他上級。東條英機從關東軍發跡當上陸軍次官、陸軍大臣直到最後組閣當首相。山田乙三因爲甘做東條的傀儡也一直在教育總監這個位子上沒動窩。太平洋戰爭的這幾年裏掌握陸軍大權的"三長官"就一直是東條英機、杉山元和山田乙三。直到1944年7月東條下了臺，山田才被複出的杉山元帥所取代。被打發去了滿洲接替已就任參謀總長的梅津美治郎擔任關東軍總司令。
關東軍司令
事蹟
1944年7月18日就任第15任關東軍總司令官兼駐滿大使。但是此時的關東軍已經是一支紙老虎了，與1943年比兵力已經減少了二分之一。日本陸軍省制訂的《駐滿洲兵備大綱》要求關東軍"通過增加戰略單位及兵員，在外觀上保持強大軍備威榮，以儘量防止蘇聯參加對日戰爭"。1945年6月山田與參謀總長梅津大將和支那派遣軍總司令官岡村大將在大連會談，他很明確地表示"關東軍只能打一次會戰，一次之後恐怕就不行了。" 他上任後，根據大本營的指示，加緊對蘇備戰，主持制定了《 滿洲方面對蘇作戰要領 》，命令各地日軍，嚴厲執行《勞動強制法》，強徵和抓捕勞工搶修地下防禦工程。由於天寒地凍，缺吃少穿，超時勞動，致使大批勞工喪生。爲彌補兵力和武器裝備的不足，他竟違反國際法，把希望寄託在細菌武器的研製和生產上。爲此，山田專門召開高級軍官會議，討論細菌武器的生產和使用問題;親到731細菌部隊視察，並將因貪污受賄而被解職的細菌戰老手石井四郎委以重任;敦促加緊細菌繁殖和細菌武器的生產。在對蘇備戰和"支援聖戰"的旗號下，更加殘酷地奴役和掠奪東北人民。對凡被認爲有"犯罪"可能的羣衆，均依據《保安矯正法》和《思想矯正法》加以"拘禁"。宣佈大米是軍需品，禁止中國人食用，否則以"經濟犯"治罪。一年中，僅此一項被治罪者即達31萬多人。
戰事
1945年8月9日凌晨蘇聯紅軍分三個方向向滿洲發起攻擊，關東軍很快被分割包圍。蘇軍進攻開始時山田並不在關東軍司令部，而是在前一天去了旅順參加關東神宮的奠基儀式。9日下午他才趕回長春。他下令將僞滿政府包括溥儀等人遷往臨江，關東軍司令部則遷往通化。8月15日中午日本天皇發表了關於停戰的廣播，但大本營卻沒有任何命令和指示發給關東軍。8月16日夜，關東軍召開幕僚會議。殺氣騰騰的青年參謀們緊握着軍刀要求堅決抵抗蘇軍，寧可玉碎也不投降。等大家都說完了，參謀長秦彥三郎說:"我們軍人除了服從陛下的命令外，沒有其他的忠節之道。主張抵抗到底的人，請把我的腦袋砍掉，然後再去!"大家沉默了，年輕的參謀們發出了哭聲。接着山田乙三說:"我充分理解諸位的心情。但既然聖斷已經下達，軍隊只能尊奉聖職。照參謀長的意見辦，服從聖斷!"
被俘
8月19日關東軍參謀長秦彥三郎從哈爾濱飛往賈力科沃會見亞歷山大·米哈伊洛維奇·華西列夫斯基元帥商談投降事宜。但這個會談的具體情況到現在還是一個謎。之後蘇聯將俘虜的六十萬關東軍押往西伯利亞服苦役整整十一年。蘇聯爲什麼要幹這種公然違反關於遣返戰俘的國際公約的事也是衆說紛紜。9月6日關東軍末任司令官山田乙三和其他高級軍官一起被送往伯力關押。
審判
罪行
在西伯利亞，原來爲大將、總司令官的山田乙三和曾經是自己手下的日本兵幹着一樣的重體力勞動，吃着一樣的黑麪包和菜湯。也許是西伯利亞的苦寒和體力勞動的繁重壓垮了日本人。幾乎所有的關東軍軍官對蘇聯軍方的審問都是竹筒倒豆子，將自己知道的一切全都告訴了蘇聯人。1949年12月蘇聯濱海軍區軍事法庭對以山田乙三爲首的十二名日本戰犯進行了細菌戰軍事審判。起訴其犯有以下罪行:1.建立特種部隊來準備和進行細菌戰。2.在活人身上進行罪惡實驗。3.在對華戰爭中使用細菌武器。4.加緊準備對蘇的細菌戰。5.各被告人個人的罪狀。同時指控山田乙三對731部隊和100部隊這兩個細菌戰部隊負有領導責任。法庭由少將法官契爾特科夫任審判長，斯米爾諾夫任國家公訴人。審判從12月25日至30日曆時5天，十二名被告都當庭服罪。山田乙三在最後陳述中說:"我出生在一個軍人家庭，從幼年起就是在軍隊中生長和服務的。我歷來受到的都是聽從長官命令和謹守軍人職責的教育······我承認我自己在加強細菌戰戰鬥準備方面所應付的責任······這些罪惡行爲是根本無法辯白的······我瞭解我應負罪過責任的全部深重性。我瞭解我所犯罪惡的全部深重性，所以我並不去思想到法庭將來對我這種罪過判決的刑罰輕重如何的問題。"山田乙三和其他被告及證人在法庭上的態度應該說是十分恭順的。最後法庭判處山田乙三"禁閉在勞動感化營內，期限25年。"
判刑
1949年12月進行的這場伯力審判是在遠東國際軍事法庭閉庭一年之後進行的，相對來說較爲鮮爲人知。出席審判的證人都是原日本軍官和731部隊的成員，雖然法庭也指控了這些日本戰犯在侵略中國華中和華東時的細菌戰罪行。但卻沒有一箇中國證人出庭作證。法庭主要追究的還是他們對蘇聯的戰爭罪行。蘇聯將六十萬關東軍戰俘和日本戰犯都當作自己的戰利品，進行處置時大多忽略了他們在中國的罪行。1950年莫斯科外國文書籍出版局以中、俄、英等文字出版了《前日本陸軍軍人因準備和使用細菌武器被控案審判材料》，這部書具有很高的原始資料價值。但在國內知道的人不多，直到五十多年後國內纔有出版社將這部書從新排印出版。
釋放
1950年7月山田乙三被轉送中國，作爲乙級戰犯的他和一千多名日本戰犯一起被關押在撫順戰犯管理所。在中國的生活條件可說比在蘇聯時好的多了。山田乙三對自己在中國犯下的戰爭罪行懺悔道:"我瞭解我所犯罪惡的深重性。"，並表示願意接受中國政府對他的改造。由於山田認罪態度和在監獄表現好，1956年75歲的山田乙三被減刑釋放，乘坐日本紅十字會包租的"興安丸"客輪迴國。1965年7月18日去世。曾獲二級金鵄勳章。女婿陸軍中佐山崎重三郎(陸士43期，陸大50期)，陸軍少佐今井義郎(陸士48期，陸大58期)。
