在宋高宗退位后，繼承皇位的是宋高宗的養子趙昚，而為什么繼位的是養子而非宋高宗的親生兒子？其中的原因是宋高宗陽痿，失去了生育能力的宋高宗無法留下任何子嗣，所以最后從趙氏宗親中挑選中趙昚繼位。根據史書上的記載，關于宋高宗陽痿的事情主要是這樣的：建炎三年的二月份，金朝的宗翰突然出兵襲擊揚州，并且攻陷了天長地區，這個時候金軍的前鋒距離揚州只有幾十里。之后有一天深夜時分，宋高宗正在和一個宮女尋歡作樂，突然聽到宮外“金兵渡江了”的呼喊聲，立馬慌慌張張地帶著少量的隨從騎馬逃出城，一路飛快行進，行至瓜洲坐船渡江逃走。而就是這次突然而來的驚嚇，使得宋高宗得了非常嚴重的陽痿，從此沒有了生育能力。

有人認為宋高宗的陽痿使得他出現了心理問題。原先的趙構武藝高強，騎射技藝極佳，并且還主張對抗金國，然而在之后卻從主戰派變成了懦弱地對金國卑躬屈膝，一味求和，所以有人認為原因是他在后期患上了陽痿的病。同時還有人認為宋高宗在退位后的二十幾年晚年生活中，還非常熱衷于與宮女尋歡作樂，不斷寵幸宮女，納取妙齡女子為妃，其中的原因也是因為他失去性能力后心理發生了扭曲。總的來說，宋高宗的陽痿給宋高宗帶來的影響非常大，不僅使他的心理發生了變化，同時也使他沒有子嗣能夠繼承他的皇位。

宋高宗在還沒有失去生育能力之前曾有一個兒子，名叫趙旉。趙旉是宋高宗的兒子，而且還是唯一一個，因為在后期宋高宗因為受到驚嚇而失去了生育能力，所以唯一的兒子頗受宋高宗的疼愛。他的母親則是宋高宗的妃子潘賢妃。趙旉與建炎元年六月出生在南京，一出生就被宋高宗封為檢校少保與集慶軍節度使，受封魏國公爵位。建炎三年，因為金兵南侵，宋高宗趙構從南京逃往臨安府，野心勃勃的苗傅、劉正彥兩人趁此機會發動叛亂，強行逼迫宋高宗退位，做太上皇，歷史上稱這場叛亂為苗劉兵變。之后隆祐太后為了穩定朝中局勢，出面下旨讓趙旉繼承皇位，并改年號為明受，而她垂簾聽政。后來，一番周折后，苗傅等亂臣最終被當時的宰相張浚殺死，引發的叛亂也被平息。之后，趙旉退位，隆祐太后不再垂簾聽政。趙旉在位時間極短，總共在位二十六天。平息叛亂后，趙旉也離開揚州，返回臨安，然而在途中發了高燒。高燒期間，一個宮女走路時不小心，絆倒了放置在地上的爐子，發出了很大的聲響，使趙旉受到了驚嚇而死，當時趙旉還相當年幼，去世時年僅三歲。趙旉死后，宋高宗與潘賢妃非常傷心，整整哭了三天，處死了照顧不力的宮女和保姆，趙旉還被宋高宗追封為元懿太子。之后因為宋高宗失去了生育能力，沒有子嗣，最后將趙昚認作養子，將他立為太子，由他繼承皇位。

宋高宗的母親是顯仁皇后韋氏，是宋徽宗趙佶的嬪妃，開封人士。韋氏原來是鄭皇后宮中的一名普通宮女，曾與另一名宮女喬氏交好并皆為姐妹，相約一人富貴時不能忘記另外一人。后喬氏得到宋徽宗寵幸被封為貴妃，韋氏得到喬氏的推薦而受到宋徽宗趙佶的臨信。雖然韋氏先后升為平昌郡君、婕妤、婉容，但是她并不受宋徽宗寵愛，她的兒子趙構也不得宋徽宗的喜愛，直到金朝向宋朝要求宋徽宗的兒子到金做質子時，趙構自愿前往，韋氏才得以被宋徽宗封為龍德宮賢妃。世人口中有個關于宋高宗的母親韋氏的傳聞，傳聞韋氏在被金兵抓為俘虜之后，曾被金兵當作戰利品押送到北方，送入洗衣院，相當于妓院的地方，被金人當作了慰安婦，甚至還被迫嫁給了蓋天大王為妾，給宋高宗趙構生了兩個異父的兄弟。在趙構建立南宋的時候，金人還曾編寫了關于韋氏的“穢書”傳播于中原街市，為的就是借此侮辱趙構。

據說，宋高宗之所以殺岳飛，其中也有他母親韋氏的原因。根據史書記載，公元1141年，當時宋高宗的母親韋氏被扣押在金國做俘虜。有人認為當時金國派人來宋朝議和的時候，宋高宗提出了讓金國放了他的母親的議和條件，而金國也一定提出了相應條件，那個條件就是殺了岳飛，就放了他的母親韋氏。并且歷史事實就是宋高宗在與金國議和一年后，殺了岳飛。

宋高宗雖然在作為皇帝方面比較懦弱無能，在文學方面的才華還是較為高的。宋高宗書法在歷史上非常有名，他有很多書法作品流傳于世，例如頗為出名的草書《洛神賦》，還有《光明塔碑》、《顧愷之女史箴圖題字》等。宋高宗書法非常優秀，他非常擅長真書、行書以及草書，筆法流暢端正、俊秀文雅，字里行間都頗有一番晉朝時期文人學士的神韻在。并且宋高宗書法還對南宋末年時期的書壇產生了很大的影響，有諸多后人相繼效仿他的書法筆跡。可見，宋高宗趙構在我國書法歷史上占據了一席之地。

宋高宗趙構的書法先是學習黃庭堅的書法，之后又改為向米芾學習，后來還曾臨摹王羲之、王獻之父子等人的書法，最后自成一家。宋高宗書法進步最快最大的時期還是他在退位成為太上皇之后。在宋高宗退位后的二十幾年里，沒有朝廷政事所打擾，宋高宗有足夠的時間和精力去專注于他的書法，也就是因為這樣，宋高宗趙構才在這段時間里將自己的書法水平又提高了一個層次。宋高宗趙構認為學習書法，應該先開始學習楷書，之后再學行書和草書，并且他還認為正草是不可以不學的，提出了一條循序漸進的學習書法的原則。而宋高宗提出的這條學習書法的原則非常具有科學性，楷書作為基本功學習扎實后，就會掌握各種筆畫的筆勢形態，之后就更能瀟灑自如地御用行書和草書。總的來說，宋高宗書法非常優秀突出，對后世書法的影響也頗大。