唐玄宗在東都洛陽，宮中鬧鬼怪。

第二天，玄宗召集宰相們上朝議事，說自己想回駕西京長安。宰相裴稷山、張曲江勸阻說："老百姓現在正忙于收割打場，請皇上等候到冬閑時再回駕西京吧。"

當時，李林甫剛剛升任宰相。他心中暗暗體察到玄宗欲回駕長安的原因，待到退朝時，他假裝腳瘸留在后面。玄宗皇帝問："腳怎么瘸了？"李林甫回答說："我的腳沒有病，不瘸。我是想單獨向皇上談談我對回駕西京的看法。"于是李林甫對玄宗皇帝說："洛陽、長安二京，乃是皇上的東宮與西宮。皇帝要上哪宮，難道還用選擇日子嗎？如果會妨礙百姓們收割、打場。單獨免去他們的過路賦稅就可以了嗎。我請求皇上允許我指示有關部門，說皇上馬上就回駕西京，您看如何？"

玄宗皇帝非常高興。就在這一天回駕長安，再也沒有上東都洛陽來。過了十多天，裴耀卿、張九齡（按：即裴稷山、張曲江。）都被免除宰相職務，玄宗皇上提升朔方節度使牛仙客為工部尚書同中書門下三品領朔方節度使。

李林甫居相位十九年。在這十九年中，凡是才干、名望、功業高于他的人，以及皇上看重的人，他都百般設計除掉。因此，自皇太子以下，沒有不感到恐懼的，連大氣都不敢出。

玄宗皇帝剛剛即位時的開元初年，所用的姚崇、宗璟等一些老臣，多數人都向皇上推薦日后能替代自己為相的人。用以謀得國家太平，百姓康樂。他們知道，國家治理好了，皇上的心也就安了。宰相張九齡是玄宗皇帝親自選拔重用的人。

在歷任宰相中，張九齡是資歷較淺、也較年輕的一位。但是他為人正直，多次直言沖撞玄宗皇帝。玄宗一怒之下，罷免了他的宰相，貶降為荊州長史。玄宗皇帝雄才大略，為人豁達，用人不疑。在晚年得到李林甫這樣的一位諂媚的宰相，從來不說玄宗皇帝不愛聽的話，這才養成了皇上聽不得逆耳忠言的習慣。玄宗皇帝寵愛倚重李林甫。

自從李林甫為宰相后，玄宗皇帝就深居在宮帷中，貪戀聲色，恣意享樂。大臣以下的人，很少有機會見到玄宗皇帝，更談不上跟皇上講對國家大事了。不論大事、小事，都一律責成宰相李林甫去辦理。李林甫雖然不通曉詞賦文章，然而對官場上的事情卻精明干練，恪守原有的綱常法紀，就是你再有奇才異學的官員士人，也沒有破格提拔任用的門路，一切都按常軌辦事。

李林甫為人陰毒殘忍，隨意迫害人。從未有表露過喜愛誰與憎恨誰。玄宗皇帝左右的人，就連為皇上掌管烹飪的小吏，和做粗活的仆役，他沒有不籠絡收買的。因此，皇上的一舉一動，他馬上都知曉。李適之剛任宰相時，行事疏乎而不慎密，被李森甫設下圈套出賣了。

一次，李森甫對李適之說："華山下面有金礦，開采了可以給國家增加財富。但是皇上并不知道啊。"李適之相信了他的話，日后，將此事上奏玄宗皇帝。玄宗皇帝非常高興，征詢李林甫。李林甫說："我很久以前就知道華山底下有金礦。但是華山是皇上的本命啊。王氣所在，不可以開采金礦。因此，我不敢向皇上提起這件事情。"玄宗皇帝從此特別輕視李適之，對他說："從今以后，凡是向我奏請的事，事先跟林甫商議一下，不要太輕佻隨便了。"從此，李適之的手腳被束縛住了，再也不能單獨向玄宗皇帝奏事。

李林甫在任宰相期間，凡是不是經他引薦的人，都想方設法查找你的錯處，將你排擠出去，或者羅織罪名將你殺掉。由此，他的聲威震動海內。所有的諫官都老老實實地拿著俸祿維持生計，誰也不敢納諫議論朝政。補缺杜中猶不信邪，再次上疏玄宗皇上。第二天，就被貶黜為下邽令。李林甫召集諸位諫官說："現今，上有圣明的皇帝，我們當臣子的，按照皇上的正確旨意辦事還來不及呢，何用你們多嘴多舌。你們沒有看到御苑內那些供儀仗使役的馬嗎？整天老老實實沒有一點響動的，可以吃到三品的草料，只要哪匹馬稍一鳴叫、不聽使役，立即趕出去。從今后，你們誰再隨意向皇上奏疏，他的下場就象那匹鳴叫不聽使役的馬一樣。"

從此，向玄宗皇上納諫提意見的道路則被堵死了。李林甫到了晚年時，結下了許多的冤仇。他非常懼怕有仇人報復。因此，每次出行都廣置車輿仆夫，派許多宮中衛士將前邊百步之內的人群驅散，在兩旁警衛。他居住的府第都用磚砌屋，用木板做圍墻，派出許多家將仆夫日夜警衛，如臨大敵。他就這樣的設防保護自己。

從前。歷任宰相出行過街，不過有三五個侍從隨行而已。士人百姓也無需在道兩旁躲避。而設置騎從上百人在左右護衛，讓公卿以下的人都得躲藏退避，是從李林甫開始的啊！