紹興三十二年(1162年)六月，56歲的宋高宗趙構在自己還活著的時候就把皇位傳給了趙奮，而自己當起了太上皇，此舉可謂震古爍今。

像后來的乾隆皇帝一樣，宋高宗并不想當名義上的、有名無權的太上皇。臨退下來之前，他通過一系列的規定，使得自己在把皇位交給趙奮后仍然能時時干政。

有一天，他去靈隱寺冷泉亭喝茶，有個行者對他照料得很殷勤，他打量了一番行者說：“我看你的樣子不像個行者。”行者哭著訴說道：“我本是一個郡守，因為得罪了監司，被誣陷降罪，罰為庶人。為了糊口，就來此處投親，干此賤活。”趙構當即說：“我明天替你去向皇帝說明。”

回宮后果真對皇帝講了，要復他的職。幾天后他再去冷泉亭，見行者還在，回宮后在宴飲時便怒容滿面。孝宗小心翼翼地問趙構為何生氣，趙構說：“我老了，沒人聽話了，那行者的事，我幾天前就同你講了，為何不辦理？”孝宗回答說：“我昨日已向宰相講起，宰相一查，說此人是貪贓枉法，免他一死已經寬大，再要復職實在不行。”趙構卻不顧這些，說：“那叫我今后怎么再見人，我已經答應他向你求情。”孝宗無奈，只得去對宰相說：“太上皇大發脾氣了，那人即使犯了謀殺罪，你也得給他復職。”宰相只得照辦。

還有一次，宋孝宗退朝去看望宋高宗，高宗問今天有什么公事，孝宗說有人彈劾一個名叫鄭藻的人。高宗說是不是彈劾他娶嫂子？孝宗說是，高宗說要看媒人的臉面。孝宗問誰是媒人，高宗說是我。第二天，彈劾的人只好被外放。

上面兩件小事說明這個太上皇實際上是“退而不休”的。也許有的朋友要問，孝宗這個“二代”又不是嘉慶皇帝，干嘛事事都得聽乾隆的啊？其實，孝宗皇帝遠比嘉慶皇帝還要不幸，因為后者當了皇帝之后有“太上皇”壓著不過幾年，而孝宗卻有幾十年的時間一直“幸福地沐浴”在“太上皇”的陽光照耀下。

遠比嘉慶皇帝還要不幸的另外一個原因，在于孝宗并非高宗親生。孝宗雖然當了皇帝，但是一直非常糾結：自己的養子身份讓他時刻擔心被人譏諷為不夠孝順。其實，他確實挺孝順的，所以死后被謚為“孝”，要說他這個謚號確實名副其實。為此，他對養父畢恭畢敬。于是問題立即出現：個把官員的任免老爸干預也就罷了，朝廷大政方針，老爸如果時不時也出來干預，那他這個二代“董事長”可就太難受了。

事實確乎如此。比如，孝宗一貫主張對金國強硬，高宗卻持續著自己一貫的立場，堅決反對和金國開戰。在“隆興和議”前，他就與朝中的主和派遙相呼應，不斷向孝宗施壓，要議和。他甚至對孝宗說：“寶貝，要打仗，等我百年之后，你再隨意為之吧。”話都說到這份上了，“孝宗”皇帝能不聽嗎？敢不聽嗎？

太上皇以80高齡去世的這一年，宋孝宗似乎也解脫了。然而他也已是60歲的老人了。青春韶華無情流逝，當年恢復中原的大業，對于年邁的宋孝宗來說，成為一個永遠的遺憾。