1950年3月，胡宗南黯然來到臺灣，暫且安身在花蓮。這時，當年曾統(tǒng)帥40萬大軍的他，身邊只剩下了6名隨從。

失敗的陰影，前途的渺茫，都讓胡宗南的心情極為低落。到花蓮后，他時或出去散心，他在王曲軍校的學生孔令晟則伴隨著他。有一天，胡宗南走過花蓮體育館，來到海邊，“突然”對孔令晟說：“我們應該在什么地方自殺啊？這里真沒有意思啊！”

孔令晟回答：“要自殺，不如在成都，可以跟我們的部隊一起自殺;到了西昌就沒什么意思了，部隊已經(jīng)沒有幾個人了。”

在此時的臺灣，不僅僅是胡宗南一個人感到“沒有意思”，與他處于相似境地的還有閻錫山、白崇禧、湯恩伯、孫立人、薛岳……時任“代總統(tǒng)”的李宗仁雖然沒有和他們一樣去臺灣，而是去了美國，但境遇的落寞則是一致。當年手握重兵的他們，如今不但成了敗軍之將，失去了叱咤風云的舞臺，甚至還會面臨來自國民黨內(nèi)部的人身威脅。

不過，雖然他們所處的環(huán)境差不了多少，但各人的反應卻是不同，有的從容處之，有的卻局促不安。

“我們不應該到這里來”

在花蓮，當自殺的念頭閃過后，胡宗南對他的部下說：“我們不應該到這里來。”此時，面對浩瀚的太平洋，他仍對自己的部隊念念不忘。在他的第一軍中，許多將官都是他一手從王曲軍校帶出來的，而這些人大都已在川西零落殆盡。

根據(jù)王曲軍校學生徐枕的說法，胡宗南原本是打算留在西昌的，當時蔣介石讓他飛往臺灣，但是他不肯走，而是對部下說：“今天我跟你們喝一杯，送你們走。”最終，胡宗南是被部下“拉”上飛機的。

然而到了臺灣，他的厄運并沒有結(jié)束。剛剛飛到臺灣時，蔣介石和陳誠都沒有見他，到了花蓮，也沒有人來看望他。不僅僅如此，失去了部隊的他，現(xiàn)在甚至要為整個國民黨政府的失敗負責。

1950年5月，臺北“監(jiān)察院”內(nèi)，45名“監(jiān)察委員”氣勢洶洶地聯(lián)名彈劾胡宗南。這一篇洋洋數(shù)千言的彈劾文在列舉了胡宗南進駐陜甘后的權(quán)力膨脹后，又歷數(shù)了他在西北、四川的一連串敗績，認為國民黨政府之所以會“失去大陸江山”，胡宗南“應負重大之罪責”。

這一場彈劾案迅速在小小的臺灣掀起軒然大波，來臺的胡宗南部屬憤憤不平，要到“監(jiān)察院”去鬧事，但都被胡宗南壓了下來，他認為，是非自然會有公論，“假如應該我負的責，我當然要負責。”

領(lǐng)軍多年的胡宗南，在這個時候表現(xiàn)出了常人少有的鎮(zhèn)靜。最終，這一場彈劾案在各方面的斡旋下不了了之，使胡宗南避免了“軍法會審”。

但是，經(jīng)歷了這一場風波后，胡宗南那“西北王”的歷史也徹底劃上了句號。正如他認為國民黨之敗不屬個人責任，而是整個體系的失敗一樣，蔣介石也是這么認為的。于是，敗退到臺灣后的蔣介石迅速對國民黨展開了“改造”，全面更換舊的黨政系統(tǒng)，原有的黃埔、中統(tǒng)、CC、政學系等皆被清除，一批完全擁護蔣介石、蔣經(jīng)國父子的新實力派被培養(yǎng)起來，這其中最為得力者即為陳誠的“土木系”。

那些國民黨的“老人”們，則在這一場“改造”后幾乎全部失勢。胡宗南再也得不到蔣介石的重用，只一度擔任了大陳島“浙江反共救國軍”總指揮和澎湖防衛(wèi)司令等職。雖然職位并不突出，但是胡宗南做得很認真，并短暫登上大陸的土地。

但是胡宗南和他的家眷、部屬是再也沒有機會真正回到大陸了。在擔任澎湖防衛(wèi)司令時，每次領(lǐng)到薪水，他只留1/3給自己和家人，其余的幾乎都給了部屬，以維持他們的生計。后來其部屬王應文的兒子回憶說，那時有人到胡宗南家里去，坐沙發(fā)都要小心，因為“那個沙發(fā)太舊太爛，一不小心會給他坐搖晃”。

1962年，胡宗南66歲，這一年春節(jié)期間，他因心臟病發(fā)作，病逝于臺北榮民總醫(yī)院。他的王曲部屬們，則每年為他舉行低調(diào)的紀念儀式。