據史書記載，當時大臣李回進諫說：“太祖不把皇位傳給自己的兒子，而是傳給了弟弟太宗，是因為兄弟二人手足情深，陛下如今要立嗣，不妨效法太祖。”

還有的大臣直接指出，太祖趙匡胤的后代如今默默無聞，如同凡夫俗子一樣，于情于理都是說不過去的，為了宋室江山的千秋大業，應該從太祖一支中選嗣。

高宗趙構見沒有別的辦法，同時為了博得一個好的名聲，便接受了群臣的建議，與宋太宗的后代不同，當時宋太祖的后代有上千人之多，宋高宗想在這一千多人之中選出合適的人選亦并非易事，經過一番仔細的搜尋，在太祖趙匡胤的后裔中選嗣，于是就按著輩分的大小，在“伯”字輩的皇族中挑選了七歲以下的男童十人，再經仔細查看后，最后留下了一胖一瘦兩個小孩，胖的是伯玖，瘦的是伯琮。

剛開始，宋高宗對趙眘并沒有太大的好感，而是中意胖點的小孩，按理說趙眘繼承皇位的機會應當也就到此畫上了句號，但是也許冥冥之中自有天意，正在他放棄做皇帝的夢想之時，發生了一件微小的事情，進而使整個局面發生了巨大的變動。

事情的經過是這樣的：有一次，宋高宗將趙眘和胖小孩叫到一起，恰巧此時闖進了一只貓，趙眘正全神貫注地聽宋高宗講話，貓闖進來后連眼睛都沒有眨一下;而胖小孩卻不同，貓闖進來后他顯得很驚慌，再也無心聽宋高宗講話，連忙伸腳去踢貓，動作極其粗魯，胖小孩這一粗魯的舉動徹底葬送了高宗原本對他僅存的一絲好感，趙構看了很不高興，說：“如此輕狂，怎能擔當社稷重任！”于是便留下了伯琮，將他以候選人的身份養育在宮中。

伯琮于建炎元年(1127年)生于秀州(今浙江嘉興)，他的大世祖是太祖趙匡胤的第四個兒子八賢王趙德芳，伯琮入宮后，天資聰穎，博聞強記，異于常人，很受趙構的喜歡，受到后宮的重點培養，高宗派人以行宮新建書院為資善堂，作為伯琮讀書的地方，并派學士富才贍作為贊讀，伯琮也很爭氣，尊師重教，勤奮好學，隨著年齡的增長，很快便成長起來。

按理說，伯琮被留在宮中之后，皇位繼承人非他莫屬了，但是他在宮中待了將近有20年，卻沒有被確立為太子，這讓人匪夷所思。

究其原因，主要有兩個方面：其一是趙眘非宋高宗親生，宋高宗始終對他懷有成見，他希望多給自己留些時間，渴望出現自己能生育的奇跡;其二是宋高宗的母親韋太后不喜歡趙眘，而喜歡另一個養育在宮中的趙琢，她一直勸高宗立趙琢為太子，，而深受趙構重用的秦檜則主張立伯玖為太子，因為伯琮對秦檜充滿敵意，堅決主張抗擊金國。，這使宋高宗在立太子的問題上一直搖擺不定，不知如何取舍。

最終，他想出了一個既可以不使韋太后生氣，又可以考驗趙眘和趙琢的萬全之策：給他們兩人分別送去10名絕色處女，待半個月之后再將這些絕色佳麗召回來認真查驗，誰破處最少，誰將是皇位的最佳人選。

宋高宗想出的這個招數很管用，效果也很明顯，送給趙眘的十個佳麗被召回來之后完好如初，而送給趙琢的十個佳麗卻全部都不再是處女，最終，趙眘通過了宋高宗的考驗，順利地被立為太子，直至登上皇帝的寶座。

在封建社會，皇子皇孫地位尊貴，有個三妻四妾本是極為平常的事，貪婪女色、留連宮幃也不是什么大不了的事情，宋高宗何以竟用這種方法來確定太子人選呢？原因有二：

一是北宋以來，理學興盛，以朱熹為代表的理學家提出“存天理，滅人欲”的理學觀念，要求士大夫克己守禮，非禮勿聽，非禮勿視，非禮勿動，禁欲主義成為倫理綱常的基本要求，朝廷上也要求皇族大臣清心寡欲、修身養性，從而形成了一種道德評判，所以伯琮的不近女色就成為道德高尚、品質端正的代表，受到高宗的鐘愛。

二是高宗本來就喜歡伯琮，伯琮對高宗趙構非常有禮，孝敬有加，對高宗的教誨言聽計從，時時流露出對高宗知遇的感激之情，而且伯琮對時局形勢的分析，外交國策的建議每每讓高宗深以為是，還曾幫助他識破了秦檜暗中謀劃讓自己的兒子做宰相的計劃，展現出卓越的才華，所以他內心早已決定立他為太子，高宗深知伯琮不是好色之徒，宮闈生活尚稱嚴謹，因而采用了“處女”考驗的辦法，也幸虧伯琮聽從了老師史浩的建議，在美色面前嚴格自制，經受住了這次“處女”考驗，從而登上了太子的寶位。

紹興三十二年(1162年)，趙構正式冊立伯琮為太子，改名為趙昚，同年，高宗趙構宣布退位，將皇位傳給了趙昚，是為宋孝宗，宋孝宗即位后，立即給岳飛平反，又將秦檜時期制造的冤假錯案，全部予以昭雪，并重新拜主戰大臣張浚為相，整頓吏治，重用主戰派，嚴肅軍紀，培養軍事人才，開始積極抗金，收復失地，成為南宋比較有作為的一位皇帝。

后人評價趙構，說他一生行事，唯選太子最稱公允，能上慰天地，下慰祖宗，僅此而已，然而，一則有宋太祖的先例，二來自己沒有兒子，所以選立孝宗，也實在是出于無奈罷了。