第74軍是1937年9月1日在浙江組建，由王耀武第51師(轄周志道151旅、李天霞153旅)和俞濟時第58師(轄吳繼光174旅、邱維達172旅，該師系國民政府警衛1旅擴編而成，是74軍的骨幹)合編而成，俞濟時任軍長(俞濟時是黃埔1期畢業，浙江奉化人，蔣介石的外甥)。全軍共8個團，2.1萬人。
74軍成軍不久就參加了淞滬會戰，南京保衛戰，多次與日軍浴血撕殺，傷亡過半。經過補充74軍先後參加徐州、蘭封會戰。在蘭封會戰中74軍在羅王寨、三義寨、曲興集攻堅戰中與日軍第14師團激戰，斃傷日軍益田兼英步兵中佐、森永澄雄步兵中佐等1000餘人。
1938年7月德安戰役(又稱萬家嶺戰役)爆發，74軍第58師重創106師團第113聯隊，但是58師也付出巨大代價，10月7日，國軍調整兵力，發起全線總攻。74軍作爲主攻部隊奉命攻擊日軍在萬家嶺地區的核心陣地張古山，第51師多次猛攻均未得手，後有人獻計(三國鄧艾偷襲陰平)從山後偷襲，團長張靈甫並親率突擊隊從山後偏僻小道襲佔張古山。殲滅106師團所部步兵第111旅團第147聯隊第1大隊鬼冢義淳所部，305團攻佔張古山，爲突破日軍106師團防線立下頭功。戰役中74軍守得住攻得上，居功至偉。戰後著名作家田漢任光曾以此戰和張該戰爲原型編寫了話劇和74軍軍歌。軍歌歌詞如下：起來，弟兄們，是時候了。我們向日本強盜反攻。他，強佔我們國土，殘殺婦女兒童。我們保衛過京滬，大戰過開封，南潯線，顯精忠，張古山，血染紅。我們是人民的武力，抗日的先鋒。人民的武力，抗日的先鋒!
此後，74軍與友軍圍殲106師團，日軍損失慘重，戰鬥的殘狀與日後在瓜達卡納爾島、新幾內亞、因帕爾等南方戰場上日軍的慘狀記錄相類似。此戰中倖存下來的日軍輜重兵第106聯隊士兵那須良輔在戰後仍然心有餘悸地回憶道：“戰友們大部都受傷，也有些因爲飢餓和疲憊而倒下來。死在水溝的戰友們，他們的臉色都變成茶色而浮腫，白花花的蛆蟲從他們的鼻孔和嘴巴掉下來。一連幾天都沒吃東西，只能從漂浮着同伴屍體的水溝裏舀髒水喝，活着的人也都快變成了鬼。我也覺得我的死期到了。對着十月的月亮，我放聲大哭。”
此戰，日軍戰死傷第145聯隊第1大隊長寺川完步兵中佐、野炮兵第106聯隊第2大隊長海老原毅炮兵中佐、第145聯隊第2大隊長河井豐步兵中佐、第147聯隊第2大隊長梅田治助步兵中佐、師團參謀成富成一步兵中佐、輜重兵中尉東鷗哲雄等10000餘人，106師團幾乎全滅。
1941年3月，74軍參加上高會戰，上高位於江西錦江上游，日軍採取分進合擊戰術，兵分三路;33師團、第20旅團、34師團企圖合圍國軍主力於高安、上高地區。但南北兩路進攻均被擊退，中路日軍孤軍深入，又遭到74軍堅強抵抗，3月22日日軍集中萬餘兵力在數十架飛機掩護下猛攻74軍雲頭山、白茅山陣地，74軍與日軍反覆爭奪，先後7次與日軍白刃肉搏，日軍全線潰敗，74軍乘勝追擊，收復官橋。此戰，擊斃214聯隊長浜田十之助大佐、擊傷日軍日軍第34師團長巖永旺少將，師團參謀長櫻井德太郎大佐兵敗後逃回駐地自殺，整個上高會戰共斃傷日軍1.5萬。此役74軍戰功顯赫，榮獲國民政府第一號武功狀和最高榮譽“飛虎旗”，被譽爲抗日鐵軍。74軍軍長王耀武和第153旅旅長張靈甫旅表現優異，受到表彰。
1943 年11月常德會戰中，74軍57師餘程萬部8000人堅守常德城16天，頑強抗擊了日軍陸、空、坦的協同攻擊，在日軍猛烈炮火甚至釋放毒氣情況下仍死戰不退，日軍不得不圍三闕一，放74軍一條生路，此時全師不足2000人，師長餘程萬率180人突圍，其餘官兵自願與常德共存亡，與突入城內的日軍逐屋爭奪，死戰不退。6天后餘程萬就隨反擊部隊又殺回常德，收復常德。
戰鬥中，日軍第116師團步兵第109聯隊聯隊長布上照一步兵大佐，第109聯隊第3大隊大隊長島村長平步兵中佐、日軍第3師團步兵第6聯隊聯隊長中田護一步兵大佐，均在常德會戰中斃命，日軍共傷亡2萬餘人。此役正逢美、中、英開羅首腦會議，羅斯福總統聽取了蔣介石的戰況介紹，特意將餘師長的名字記在備忘錄上。著名作家張恨水就根據常德之戰寫出一部名叫《虎賁英雄》的小說。常德人民爲紀念74軍爲國捐軀的犧牲將士，自發募捐，於1944年3月在市青年路東側修建佔地達30000平方米的陣亡將士墓地，作爲永遠的紀念。
1945年5月，在雪峯山戰役中，換裝美械的74軍再次顯示出抗日鐵軍的雄風，給予日軍以重創，獲得兩面“飛虎旗”。日軍死傷小笠原七郎中佐、瀧寺保三郎大佐、重光三馬大佐、永裏恆彥少佐、田丁由五郎大尉等28000餘人。被俘的日軍記載：厲害的重慶軍，衝入陣地後，抓住了我們，上來就是幾個耳光，打得滿眼直冒金花，有時還拳打腳踢，還用槍托打人，打人最厲害的要算74軍的58師;在把我們向後方押送時，在集中上汽車之前每人都被捆綁着雙手並前後各人相連，經過村莊、城鎮時，成羣的男女、老幼。以憤怒的行爲對待我們，真是狼狽不堪……
八年抗戰中，74軍幾乎參加了所有正面戰場上的重大戰役，尤其是在德安、上高、常德三次戰役中表現最爲突出，以其英勇頑強的戰鬥意志，被譽爲抗日鐵軍，美軍顧問團曾有過“中國只有74軍能打”的讚譽。1945年8月，日本投降，74軍空運南京受降，並擔任南京守備(整編爲74師，張靈甫)部隊，因此被稱爲“御林軍”。
