曹彬在岐溝關潰敗后，雍熙北伐宣告失敗，潘美和田重進雖然獲勝，但也只能撤回關內，已經在平州登陸的海軍也全部退入渤海。宋太宗急忙派部隊鎮守邊關，迎回敗兵，此時他手下已經無人可用，竟然把宋偓、劉廷讓甚至張永德這些早就閑置了的老將請出來帶兵，又令潘美軍重出雁門關，將所攻占云、應等五州的百姓遷入內地。

潘美行動之前，斜軫已經通過引蛇出洞的戰術收復了蔚州，《遼史·耶律斜軫傳》稱斬首數萬級，但蔚州守軍絕對沒有這么多。并又稱他和潘美、賀令圖在飛狐正面作戰，又斬首數萬，但其他史料均顯示潘美退回后再也沒有親自出戰，應該是錯的。另一方面，蕭太后親自率軍收復寰州，所率部隊有大臣耶律漢寧(據《長編》，但此人不見別載，疑為耶律斜軫之誤)、蕭撻凜、南北皮室軍、五押惕隱司等，共十余萬眾，都是遼帝國的禁衛精銳。

在宋軍參謀會議上，楊業提出一個方案："先派使者通知云、應、朔州的人，我軍離開代州時，云州的人就先跑回來，我軍再去應州救人。遼軍必然來攻，朔州的人就可以趁機跑進石碣谷，在谷口埋伏三千強弩，并以騎兵輔之，能夠抗拒遼軍，這樣三州的吏民都可以保全了。"這個方案應該說非常現實，但監軍王侁卻不同意，認為這樣是完全放棄了寰州的人，還說："我們手握數萬精兵，卻這么懦弱怯戰，應該直出雁門，鼓行至馬邑(朔州的一個縣)，和敵軍正面交鋒！"軍器庫使、順州團練使劉文裕也表示贊成(注意，潘美并未表態贊成)。楊業認為這樣必敗無疑，王侁又說："你不是一直號稱"楊無敵"嗎？現在卻逗撓不前，難道懷有二心？"這話說到了楊業的痛處，因為他是北漢降將，最忌諱人說他不忠于大宋，于是只好答道："楊業不是怕死，只是戰機不利，只能白白犧牲士卒而不能立功，既然各位責我怕死，那我就為諸位先死吧！"毅然帶本部兵出石峽路，直往朔州。臨行前，楊業哭著對潘美說："我此去必死無疑！楊業本是太原降將，早就該死了，皇上不嫌棄，還授予我兵權，楊家世感皇恩。我不是避敵不戰，而是在等待機會為國家立功，現在是大家說我避敵，那我就死在敵人的前面吧！"然后又指著陳家谷說："大家在這兒埋伏步弩，并以騎兵輔兩翼，如果我命大不死，退回到這里，你們出兵伏擊敵軍，不然就一個都活不了。"潘美和王侁同意了這個方案，各自帶兵在谷口設伏。

斜軫聽說楊業又來攻朔州，令蕭撻凜在路上設伏，自己正面應敵，佯敗退走。楊業追擊，蕭撻凜伏兵盡出，斜軫也回師來攻，楊業大敗，但是逃回到了陳家谷，然而情況卻大大出乎他的意料。王侁本來和潘美一起在谷口設伏，但他登高而望，看見斜軫退走，怕楊業獨占大功，于是要帶兵前去攻擊。潘美雖為主將，卻不能制止。但王侁走了20里又聽到楊業兵敗退回，于是徑直撤回雁門關內。潘美強烈要求他留在陳家谷口接應楊業，王侁又不聽勸。無奈潘美也只好撤回關內，把楊業拋在了敵軍的追擊之下。

楊業邊戰邊撤，一整天才回到陳家谷口，見伏兵都已撤走，拊膺慟哭，對士卒大喊道："此時我軍已無活路，只能以身殉國！諸君可愿與我同死？"宋軍將士無不為其忠義所感，熱血沸騰，返身與遼軍再戰。楊業之子楊延玉挺身在前，殺敵數十，滿身負傷，一匹白馬都被染成了紅馬，血盡人亡。73歲的老將岳州刺史(據《長編》《宋史》作淄州)王貴親手射殺數十名敵軍，箭支用完，又以空弩擊殺數十人方才壯烈犧牲。最后宋軍將士全體戰死，無一投降。楊業奮戰到最后一刻，手刃百余遼軍，最后戰馬重傷倒地，終于被擒。《遼史·圣宗本紀》和《耶律奚低傳》記載楊業退到狼牙村，藏在林中，被右皮室詳穩耶律奚低發現后射死，顯然是錯誤的。楊業被擒后斜軫出了一口惡氣，問道："你號稱"無敵"，與我軍作戰30年(他似乎把楊業在后漢軍服役，與他作為戰友的時間也算上了)，今天終于被我抓住，還有什么話好說？"楊業長嘆道："吾皇待我甚厚，我一直期待破敵以報，但是現在被奸臣所嫉，逼令赴死，導致王師敗績，哪里還有臉面活于世上。"然后絕食三日而死，體現了崇高的民族氣節。

戰后，楊業的妻子折(shé，音同"佘")氏不依不饒，要求朝廷重處潘美等人，潘美也頑強辯解。太宗本來就非常痛惜楊業的死，裁定潘美等人有罪，將潘美連降三級，王侁、劉文裕被除名充軍。王侁是后周名相王樸之子，卻以人品低劣著稱，把王家的臉都丟盡了。楊業被追贈為太尉、大同軍節度使，留下的五個兒子都被錄為官員，其中最有名的是長子楊延昭(原名楊延朗)，日后也成長為對遼作戰的主力，而折氏也因其正直敢爭名垂青史。

后人非常感念楊業及其子楊延玉、楊延昭的忠勇，創作出了《楊家將演義》等大量的小說、戲曲傳頌楊家將的英名。而在這些作品中，不約而同的用到了一個反面角色：潘仁美。顯然這個"潘仁美"的原型就是潘美。潘美在雁門撤退時，作為主帥，不能堅持正確的意見，又不能節制王侁等將擅自撤離，確實要對楊業的死負有主要責任。所以，雖然潘美在宋朝建立的過程中立下戰功無數，是結束五代亂世的英雄人物之一，鎮守太原防區，鮮有敗績，此戰之后第二年就病卒，享年67歲，這不光彩的一戰簡直就是晚節不保。潘美卒后贈中書令，謚號武惠，配饗太宗廟庭，從祀孔子，和曹彬、李繼隆、曹瑋一起被譽為"宋初四大名將"，但在后世的文學作品中，他卻只能永遠扮演白臉奸臣角色。

楊業，本是北漢降將，劉家也算待他不薄，但他沒有愚忠于北漢，而是選擇了為大宋盡忠。他很明白，大宋才是值得他應該盡忠的祖國。在這個將星云集的時代，楊業父子其實算不上超一流名將，但是他們的忠勇卻永遠感動著世人。曹彬、潘美、李繼隆、休哥、斜軫、蕭撻凜這些蓋世名將一定都為和楊家將戰斗在同一個時代而深感榮幸。