盡管宋高宗也迫切希望收復(fù)失地，但在此過(guò)程中一些只可意會(huì)、不可言傳的隱憂卻讓他耿耿不寐，徘徊不前。

一方面，北伐一旦開始，必是集全國(guó)人力、物力、財(cái)力、軍力孤注一擲，勝算多少，他心中沒(méi)底;另一方面，南宋草創(chuàng)，根基未穩(wěn)，一些戰(zhàn)爭(zhēng)中壯大的武夫勢(shì)力日漸抬頭，各自為政，紛紛自稱張家軍(張俊)、劉家軍(劉光世)、韓家軍(韓世忠)、岳家軍(岳飛)等等。

遠(yuǎn)有老祖宗趙匡胤陳橋兵變的先例，后有他親身經(jīng)歷的“苗劉兵變”，他對(duì)軍閥、藩鎮(zhèn)勢(shì)力不斷坐大簡(jiǎn)直懼如猛虎，只要有機(jī)會(huì)，必定快速剪除。

宋高宗自登基之日起，便一直在主戰(zhàn)與主和之間猶豫不決，這從他任命宰相的人選中，也可看出端倪。當(dāng)他傾向于北伐，主戰(zhàn)的張浚任相;一旦因情況有變而猶豫，稍稍保守的趙鼎任相;如果他傾向于向金求和，主和的秦檜就出任宰相。所以，張浚的去留與升降，是與宋高宗的政策指向密切相關(guān)的。

最終推動(dòng)宋高宗徹底主和這一“多米諾骨牌效應(yīng)”的第一張骨牌，就是發(fā)生在紹興七年(1137年)的“淮西兵變”。

在與偽齊對(duì)壘的過(guò)程中，由于兵驕日盛，張浚便與宋高宗商量整編軍隊(duì)，以免尾大不掉。在宋高宗的安排下，這年三月，張浚解去了劉光世的淮西軍軍權(quán)，將淮西軍收為自己的都督府，以都督府參謀、兵部尚書呂祉去節(jié)制和統(tǒng)率。

同時(shí)，以劉光世的部將王德為都統(tǒng)制，酈瓊為副都統(tǒng)制。酈瓊出身流寇，與王德積隙很深，而呂祉又是一介書生，難以服眾，這種安排為兵變埋下了伏筆。不久，張浚意識(shí)到這樣安排欠妥，打算召回酈瓊，奪其兵權(quán)，誰(shuí)知消息走漏，被酈瓊得知。酈瓊于當(dāng)年八月發(fā)動(dòng)兵變，殺死呂祉，迫使4萬(wàn)多淮西軍投降當(dāng)時(shí)還未被金廢除的劉豫，史稱“淮西兵變”。

兵變消息傳來(lái)，舉國(guó)震驚，張浚一時(shí)成為眾矢之的，隨即被罷相，以秘書少監(jiān)分司西京。當(dāng)時(shí)，南宋總兵力才20余萬(wàn)，“淮西兵變”使南宋失去了一支關(guān)鍵力量，敵長(zhǎng)我消，北伐更加難以提上議事日程了。

紹興十一年(1141年)，宋高宗解除了韓世忠、岳飛等將領(lǐng)的兵權(quán)，制造了岳飛冤獄，取得了與金和談的資格，隨后殺掉岳飛，正式與金簽訂“紹興和議”。在滿足了金國(guó)殺害抗金英雄、向金稱臣、割地、賠款等諸多屈辱條件之后，南宋得到了所謂的“和平”。自此，宋高宗任用秦檜為獨(dú)相近20年，一直執(zhí)行屈辱的乞和政策。“紹興和議”之后，張浚一步一步逐漸成了宋高宗的“眼中釘”。宋高宗把他謫貶到湖南、廣東等地，前后放逐達(dá)20余年。