呂氏在般若寺生下楊堅時，“紫氣充庭”。這時，有個從河東來的尼姑對呂氏說：“這個孩子不是凡人，不能在凡間養。”于是，尼姑把他抱到廟里一個別院躬自撫養。呂氏有一次抱起小孩，發現小孩頭上長角，身上長鱗，又驚又怕，把小孩丟在地上。

《資治通鑒》上有一段非常有趣的記載：陳朝至德元年(公元583)十一月，陳后主陳叔寶遣散騎常侍周墳、通直散騎常侍袁彥出使隋。陳叔寶聽說隋文帝楊堅狀貌異人，便讓袁彥畫像而歸。當陳叔寶看到楊堅的畫像后，大駭道：“吾不欲見此人！”立刻命人將畫扔了。

楊堅的相貌到底奇異在何處，以致他的死對頭陳叔寶看到畫像后如此驚懼呢？

根據《隋書》的記載，楊堅“為人龍頷，額上有五柱入頂，目光外射，有文在手曰王，長上短下，沉深嚴重。”由上面的描述可以看出，楊堅的相貌有五“奇”：一、額頭突出，并有五個隆起的部分從額頭直插到頭頂上;二、下頜很長，而且很突出;三、目光犀利，咄咄逼人;四、掌紋形似“王”字;五、上身長，下身短。

他這個長相，生下來不久就讓他的母親呂氏“大駭”了一回。

呂氏在馮翊(今陜西大荔)般若寺生下楊堅時，“紫氣充庭”。這時，有個從河東來的尼姑對呂氏說：“這個孩子不是凡人，不能在凡間養。”于是，尼姑把他抱到廟里一個別院躬自撫養。呂氏有一次抱起小孩，發現小孩頭上長角，身上長鱗，又驚又怕，把小孩丟在地上。尼姑進來看到，說：“已經驚到了我的孩子，他要多花些年頭才能得到天下。”《隋書》、《北史》隋本紀上都記載說，楊堅在廟里一直長到12歲才回家。

《隋書》中記載：齊王宇文憲對當時的北周皇帝宇文毓說：“楊堅相貌非常，臣每見之，不覺自失。恐非人下，請早除之。”皇帝說：“他不過只能做個將軍而已。”內史王軌也對皇帝說：“皇太子非社稷主，楊堅貌有反相。”帝不悅，曰：“必天命有在，將若之何！”楊堅聽說這件事后非常害怕，深自晦匿。

宇文毓雖然強為鎮靜地說“必天命有在，將若之何”之類的話，其實心里也有點害怕，派善于看相的趙昭去為楊堅相相面。趙昭堅信楊堅“當為天下君”，他采取了一個兩面派的手法：他一面騙宇文毓說楊堅只是一個“作柱國(官職名)”的材料，另一方面又去巴結楊堅，把真相都告訴了他，并悄悄地對楊堅說：“你一定會當皇帝，而且一定要經過大屠殺才能坐得穩，千萬記住我這句話。”原文是：“公當為天下君，必大誅殺而后定，善記鄙言。”

楊堅為了自己這副相貌，付出了不少代價。在襁褓里就差點被自己的母親摔死;長大之后，又受到同僚的嫉妒和皇帝的猜忌，時刻面臨被害的危險。這樣也就使他不得不把自己隱藏下來。當然，他是相信自己“當為天下君”。他本是一個頗為迷信的人，又從別人嘴里聽到這樣的話，對自己的相貌也就信心十足。因為看到楊堅相貌而對他抱有信心的人，不止趙昭一人。在《隋書》中，還有數例可尋。《隋書·龐晃傳》中說，楊堅任隨州刺史時，路經襄陽，衛王令龐晃拜見楊堅，因為楊堅“相貌非常”而巴結他，向他表忠心，希望他當了皇帝之后，不要忘記自己。而楊堅聽后，只是富有深意地笑著說：“不要瞎說呀！”楊堅的心思，在這一“笑”之中昭然若揭了。

趙昭、龐晃，還有鄭譯、盧賁、竇榮定等人，日后都成為楊堅的親信和心腹，為他篡奪北周皇位和創立隋朝天下，起了很重要的作用。

只不過楊堅的異相似乎威力不足。中國歷史上有幾個大統一的短命政權，說開就開，開得光彩四射，燦爛輝煌，可是說完就完，不但快，而且徹底。隋王朝就是其中之一，楊堅辛辛苦苦，努力了一輩子，卻不過為唐王朝搭了道橋，而他本人最后也被他親兒子楊廣照肚上一刀，活活捅死，想起來沒意思得很。