1937年七七事變發生，日本集結最精銳的部隊，叫囂要在三個月內滅亡中國。日本人的進攻，打破了蔣介石的“綏靖”夢，讓他不得不考慮抵抗問題。這時，黃埔三期生、非常欣賞張靈甫軍事才能的王耀武向蔣介石進言，請求釋放張靈甫。蔣介石應允了。張靈甫方得以返回部隊戴罪立功。出獄后，張靈甫進入王耀武的51師，擔任153旅305團團長，奔赴上海，參加著名的“八一三”淞滬會戰。會戰中，張靈甫身先士卒，獲得了士兵的尊敬。

戰后，張靈甫又率305團參加南京保衛戰，駐扎在雨花臺附近的華嚴村，與日軍18師團血戰數日，直到接王耀武命令才率部突圍。因作戰有功，張靈甫被提升為153旅副旅長兼305團團長。張靈甫的“成名作”，是武漢會戰中的萬家嶺戰役。萬家嶺位于江西省德安城西北20余公里，是一些高低不平的山脈的統稱，其峰不險，其貌不揚，但在74年前卻是中國軍人抗擊日軍的主戰場。

1938年8月，日軍第11軍106師團從九江沿南潯鐵路(南昌—九江)南犯。中國守軍奮勇抗擊，日軍受挫。9月底，日軍106師團第123團、第145團、第147團和前來增援的101師團第149旅團深入萬家嶺地區——這就為中國軍隊集中優勢兵力啃下106師團創造了難得的機遇。10月7日，萬家嶺戰役正式打響。中國軍隊第4軍、第66軍、第74軍向敵軍發起了總攻。日軍雖然身陷險境，仍具備相當強的戰斗力。為了殲滅106師團，就必須拿下已被敵軍先行占領的高地——張古山。

張古山山勢險峻，易守難攻。王耀武率51師久攻不下，無計可施。74軍軍長俞濟時告訴王耀武：“張古山我不管了，反正兩天后，我要上張古山向薛岳報告戰況！”討論作戰方案時，眾人都覺得張古山不好打。就在這時，張靈甫突然發言了：“師長，張古山就交給我吧！”“你有什么絕招？”王耀武很吃驚。

張靈甫侃侃而談：“大家都知道《三國演義》吧？魏國大將鄧艾率領精兵從陰平(甘肅文縣)出發，經過七百里杳無人煙的地區，逢山開路，遇水搭橋，出其不意地直搗蜀國心臟成都。我們也可以依葫蘆畫瓢，大軍繼續正面進攻的同時，挑選精兵強將，從人跡罕至的張古山背面爬上去進行偷襲，一定能夠起到兩面夾攻的作用。”王耀武批準了這個作戰方案。

張靈甫親率一支突擊隊，輕裝出發，穿過艱險的深山峽谷，攀巖爬樹，悄然突入敵軍后背，全殲山上日寇，一舉拿下張古山。瘋狂的日軍在飛機配合下又奪回了張古山。張靈甫當夜趁天黑再次奪回陣地……如此反復拉鋸，雙方鏖戰五日五夜。其間，日軍第十一軍司令官岡村寧次一邊下令101師團不惜一切代價支援106師團，一邊打破飛機不夜航的慣例，不分白天黑夜對張古山狂轟濫炸，妄圖炸出一條血路。張靈甫部傷亡慘重，他本人也多次負傷。但張靈甫挺到了最后。

由于張古山的勝利，終使日寇106師團在萬家嶺幾乎被全殲(只有師團長淞浦中將帶幾百殘兵逃脫)，這在整個抗戰史上是唯一的一次——萬家嶺大捷也因此成為著名的抗戰三大捷之一。新四軍軍長葉挺稱贊道：“挽洪都于垂危，作江漢之保障，并與平型關、臺兒莊鼎足三立，盛名當垂不朽。”

當時郭沫若擔任國民黨軍事委員會政治部第三廳廳長，他委派劇作家田漢前來采訪張靈甫等人，以他們的事跡為藍本編寫了話劇《德安大捷》。張靈甫以真名真姓在劇中出現，從此名震天下。