960年正月初四，后周殿前司都點檢趙匡胤發動陳橋兵變，黃袍加身，建立北宋王朝。趙匡胤稱帝后，雖然表面上善待周世宗柴榮的幾個兒子，但他們的身后事卻依然撲朔迷離。被降封為鄭王的柴宗訓于973年病死于房州，年僅20歲且無后。北宋歐陽修在《新五代史》中記載了柴榮別的兒子的下落時，只寫了一句“熙讓、熙誨，不知其所終”。

歐陽修編書的時間距離陳橋兵變還不到百年，他不可能不知道柴熙讓、柴熙誨的下落，史學家胡三省認為他是在有意回避著什么。那么究竟柴熙讓、柴熙誨去哪了？兩宋文人的記載讓后人不禁大吃一驚，柴熙讓、柴熙誨中不僅有一人存活，而且收養他們的人竟然是小說中“潘仁美”的原型——潘美！

關于這件事有兩個版本，其一是北宋文人王鞏的記載。陳橋兵變后，趙匡胤在趙普等人的簇擁下進入皇宮，見到宮中嬪妃抱著一個小孩子，詢問之下得知是柴榮的兒子，趙匡胤便詢問眾人，趙普等人建議除掉，只有潘美默不作聲。

趙匡胤言道：“我即位于周世宗，如果殺了他的兒子，不忍心這么做。”潘美說：“臣與陛下曾都是周世宗的臣子，勸說陛下殺掉這個孩子，則辜負了周世宗，勸說陛下不殺，陛下必定對我生疑。”趙匡胤說：“那送給你做侄子。周世宗的兒子不可以做你的兒子。”潘美于是帶著這個孩子回家。之后趙匡胤再也沒有詢問過這個孩子的下落。

第二個版本是南宋文人王铚的記載，說的也是趙匡胤陳橋兵變后進入皇宮，發現宮人還抱著兩個小孩子來參拜，趙匡胤詢問下得知這是周世宗的兩個兒子紀王和蘄王。趙匡胤對諸將說：“這還留著干什么？”左右隨即就將兩個孩子提走，唯有潘美在趙匡胤身后用手扶著宮殿的柱子，低頭不語。

趙匡胤發現后對潘美說：“汝以為非也？”潘美回答到：“臣豈敢！但以為于理未安。”趙匡胤醒悟，隨即命令將兩人追回，將其中一人賜予潘美，潘美將他收養為兒子，趙匡胤此后對此事也不再過問。

版本內容雖然略有不同，但潘美撫養、保全柴榮遺孤的事實卻很清楚，聽著很像小說，但確有事實佐證。柴榮的這個遺孤，也可以說潘美的這個養子，后改名為潘惟吉。史書上確有其人，“惟吉，美從子，累資為天雄軍駐泊都監。雖連戚里，能以禮法自飭，揚歷中外，人咸稱其勤敏云。”

不僅如此，還有考古文物作為佐證。陜西省博物館里收藏著一方墓志銘，是潘惟吉之子潘承裕及其夫人王氏的墓志銘。墓志一反常規，非但不提及祖父為誰，反而提到叔祖是潘美，這并不符合墓志的撰寫規則。潘美明明是大名人，墓志卻說潘承裕是開封人，籍貫完全不符合。

如果事實真是如此，那么潘美為何要出面保全柴榮的遺孤呢？原因很簡單，潘美曾經是柴榮的新服，柴榮也是他的“伯樂”。潘美最初仕途并不順利，直到他遇到柴榮，從侍從官一路升遷，才有了后來的高官厚祿。雖然現在有的潘氏家譜極力否認，但宋人的記載主要是根據潘惟吉后裔所言，以及其他一些材料佐證，真實性遠勝后來修撰的家譜。

雖然是潘美保全、收養了柴榮的遺孤，但成全潘美的是趙匡胤，這個事實同樣不容抹殺。