宋太祖在斧聲燭影中不明不白地死去，當時天下就傳言“太祖之后，當再有天下”。一百余年后的南宋高宗果然絕后，且其近親后裔大都已被金兵擄去，只得“廣選藝祖之后宗子”。最讓人百思不得其解的是：高宗居然在身體還相當強健的五十六歲盛年，主動讓位給太祖之后的孝宗，這在中國數千年的歷史上絕對是罕見的。靖康之難，金軍押解了二帝及宋宮“妻孥三千余人，宗室男婦四千余人，貴戚男婦五千余人，諸色目三千余人，教坊三千余人”等北還，其中就包括趙構康王府的三位有名位的妻妾和五個女兒，其正事邢氏已有身孕，結果在北遷的路上“以墜馬損胎”。惟有妾潘氏也已妊娠，因無名位，住在開封自己家中，獨得躲過這一劫，后回到趙構身邊。趙構即位一個多月之時，即建炎元年(1127)六月，其子趙旉降生，潘氏也晉立為賢妃。

建炎三年(1129)，武將苗傅和劉正彥在杭州發動兵變，逼迫高宗遜位，立他的三歲幼子為帝。后韓世忠統兵歷時一個月平定了叛亂，處苗、劉以磔刑。然而此事變最嚴重的后果是：趙構在此次事變中受驚嚇而從此陽痿，才二十三歲就喪失了生育能力。不久，三歲太子也受驚嚇而離開人世。在潘賢妃妊娠期間，正值金軍破開封府前后，她成天提心吊膽，生活艱難，故所生之子先天不足，體弱多病。據說七月間一天，趙旉患病時，恰好有一宮女，不慎踢翻了一只鼎，“仆地有聲，太子即驚搐不止”。高宗大怒，“命斬宮人于廡下”，然而僅過片刻，趙旉就停止了呼吸。兩件事發生于同年，如此巧合，莫非天意。而這時，年近六十的隆祐皇太后孟氏，突然“嘗感異夢”，夢見太祖趙匡胤說：“只有把皇位傳給我的子孫，國勢才能有一線轉機。”太后自二十四歲時被宋哲宗廢黜，長期過著痛苦的幽居生活，不過也由此而沒有被金兵北擄，也算不幸中的大幸，此時看到宋廷所遭劫難也時有所思，于是“密為高宗言之，高宗大悟”。在這樣的形勢之下，高宗也知道自己恐無希望有子嗣了，不如順水推舟，便說：“太祖以神武定天下，子孫不得享之，遭時多艱，零落可憫。朕若不法仁宗，為天下計，何以慰在天之靈。”(《宋史·孝宗紀》)于是同意“廣選藝祖之后宗子”比自己低一輩者。

選太祖后裔比趙構低一輩者，就是在其“伯”字輩的宗室子弟中訪求。據說太祖后裔香火還特別旺盛，其“伯”字輩約有一千六百余人，當然朝廷只從七歲以下兒童中遴選。最后選出兒童十人，再讓高宗逐一審看。據說，一次審看兩人，某次一瘦一胖兩個孩子出場，讓高宗仔細端詳，突然有一只貓走過來，胖的為童心驅使，踢了貓一腳，高宗以為，胖孩“如此輕狂，怎能擔當社稷重任”。子是把胖孩淘汰，而那位瘦的，就是后來的宋孝宗趙伯琮。最后，高宗選了兩個孩子：趙伯琮和趙伯玖，時為紹興二年(1132)。

兩個孩子來到妃嬪面前，張婕妤用手一招，趙伯琮便向她的懷里撲去，高宗便命張婕妤養育伯琮，命吳才人養育伯玖。伯琮后賜名趙瑗，伯玖后賜名趙璩。趙瑗天資聰穎，博聞強記，異于常人，頗受趙構鐘愛，還親自教之讀書。紹興五年(1135)，封趙瑗為保慶軍節度使、建國公，入資善堂上學，并詔：“建國公祿比皇子”。然而，高宗卻不正式立趙瑗為皇太子，原因是對自己能否恢復生育能力，仍抱有一定的希冀，就是說心里還是不太情愿由這個太祖的后裔入繼大統。紹興八年(1138)，又封趙璩為節度使、吳國公，使兩個孩子處于平列的地位。由此，高宗表明自己尚無立儲之意，諸大臣提出不同意見，尤其左相趙鼎竭力反對，據理力爭，高宗只得收回成命。然而到第二年，依然封趙璩為保大軍節度使、崇國公，“赴資善堂聽讀，祿賜如建國公例”。此時，右相秦檜進讒言道：“趙鼎欲立皇子，是謂陛下終無子也。宜待親子，乃立。”此話說到高宗心里。后秦檜獨相十八年，是趙瑗成長中最為艱難的歲月，時或與奸相產生嫌隙。直到秦檜病死，總算掃除了立皇儲的一大障礙，高宗對自己的生育能力也已不抱希望。這時，趙瑗為普安郡王，趙璩為恩平郡王，兩人都已長大成人，且才能不相上下，高宗一時躊躇不決，不知立誰為皇儲。最后靈機一動，決定用女色進行試探。他給兩人各賜靚麗宮女十名，過一段時間后再將二十名宮女招回，進行身體檢查。趙瑗聽從老師史浩謹慎對待的勸告，不近女色，所以其宮女依然是處女，后“完璧歸趙”。而趙璩則采盡了秀色，十名宮女都已不是處女了。高宗并未將此事公布，但心中已有定數。此事載于周密《齊東野語·高宗立儲》之中，令人不解的是：高宗本人就是一個荒淫好色之徒，他怎么會在這方面嚴格要求子嗣呢？其所用方法，以當時的科技條件能進行比較準確的鑒別嗎？周密的記載會不會想立奇而作假呢？或只是采之于無法考據的道聽途說？

紹興三十年(1160)，高宗下詔：“以瑗為皇子，仍改賜名瑋”，進封建王。任命趙璩為判大宗正事，置司于紹興府，并改稱皇侄。至此，拖延了近三十年立諸問題，終于在宋高宗五十四歲時得到解決，時趙瑗已三十四歲。高宗教導皇子說：“須是讀書，便知古今治亂，便不受人瞞。”實是要趙瑋學習做帝王的機謀權術。紹興三十二年(1162)五月，大臣草擬立皇太子手詔進獻，高宗下詔說：“朕以不德，躬履艱難，荷天地祖宗垂祐之休，獲安大位三十有六年，憂勞萬幾，宵旰靡憚。屬時多故，未能雍容釋負，退養壽康。今邊鄙粗寧，可遂初志。而皇子瑋毓德允成，神器有托，朕心庶幾焉，可立為皇太子。”又賜名眘，宋廷舉辦了一系列立皇太子的典禮。六月，高宗又出御筆說：“思欲釋去重負，以介壽臧，蔽自朕心，亟決大計”。“皇太子可即皇帝位，朕稱太上皇，退處德壽宮，皇后稱太上皇后。一應軍國事，并聽嗣君處分。朕以澹泊為心，頤神養志，豈不樂哉！”隨后在紫宸殿行內禪之禮。皇太子先不肯接受，退到大殿一側，經趙構再三勉諭，大臣一番苦勸，太子方才答應，接受了皇帝的寶座。

可見高宗的遜位完全出于自愿，無一絲一毫勉強的成分。年初，高宗曾帶太子“扈蹕”建康府(今江蘇南京)，時值天寒，雨雷不止，父子騎馬而行，“雨濕朝服，略不少顧，”而隨從大臣中，反而多有乘轎者。五十六歲的高宗能騎馬而行，說明其身體還相當強健。退位后，高宗至高壽八十一歲才去世，也足以說明當時的身體狀況。在身體還相當健康，又處于五十多歲的中年，且國事平穩的情況下，國家最高統治者自動退位，這在中國歷史上是絕少有的現象。那么，是什么原因促使宋高宗主動退位呢？有人會說，其父宋徽宗還是在四十四歲時就禪位于欽宗了。那是什么時候？那時金軍重兵壓境，國家危在旦夕，徽宗這才被迫撂擔子。而高宗退位時南宋正當“邊事寢寧”，去年金海陵王率軍南侵，最后不但采石一戰大敗而退，且為部將所殺，金國政局動蕩，而這時南宋正好可過略為安穩的日子。有人或說，乾隆也在晚年禪位于嘉慶。那時乾隆已多大年紀？八十五歲，這一年紀退位在某種程度上說，已是十分不得已。而宋高宗才五十六歲，且身體強健，確實令人有些不可思議。

王曾瑜《荒淫無道宋高宗》中說：“他固然貪戀皇帝的尊榮，卻又苦于國事之‘憂勤’，故在遜位詔中還是說了一些實話。他愿意以太上皇的地位繼續享受皇帝的尊榮，卻又免于國事的‘憂勤’。他認為在‘邊事寢寧’的形勢下，正是自己‘釋去重負’之機。”或者說，趙構做皇帝已做得身倦神疲，想罷脫這國事操勞之苦，而過太上皇的清閑日子，所以就把這副擔子扔給了皇太子趙眘。這樣的解釋似乎頗合情理，也符合趙構自己的說法。但是太上皇并沒有如其禪位時宣稱的那樣，從此不問朝政，在深宮頤養天年，而是一到關鍵時刻，就會多方掣肘，出面干涉。如新任命的宰執必須到他那兒“入謝”，面聽“圣訓”，尤其在與金戰、和問題及恢復大計方面，太上皇更是寸步不讓，說明他對權力還是有些不舍。尤其是做皇帝真是如此“憂勤”辛苦，主動退位就猶如釋去重負嗎？那為什么中國數千年的歷史上絕少有皇帝做出如此舉動呢？要知道“皇帝”在中國是個什么概念？那就是別人都是奴才，只有他才是主子，整個“天下”都是屬于他的。在一定意義上他可以為所欲為，可以駕馭任何人、任何財物。所以上述退位即可“釋去重負”的解釋，總讓人覺得有點勉強，不怎么到位，然而又找不到更確當的原因。