武帝死后，繼位的昭帝年僅八歲，政事皆由大司馬、大將軍霍光決斷[3]，前述鹽鐵會議就是在霍光的授意下，由昭帝下詔決定召開的。與霍光一起受武帝托孤的上官桀之子上官安娶霍光之女為妻，生有一女。始元三年(公元前84年)，此女年僅五歲，上官桀父子意欲將其送入宮中為昭帝后，被霍光拒絕。

后上官安通過武帝長女蓋公主之男寵丁外人的關系，達到目的，上官安被封為車騎將軍。霍光由于拒絕了上官桀父子封丁外人為列侯的請求，引起了上官桀父子與蓋公主的怨恨。桑弘羊也因為自恃在武帝時推行鹽鐵專賣之功，欲為其子弟求官而不得，亦對霍光專權表示不滿。這些反對霍光的勢力聚集在燕王旦周圍，密謀除掉霍光。燕王旦是武帝之子。

太子劉據因巫蠱之禍死后，劉旦按次序當為太子。但他繼位心切，反遭武帝厭惡，不但未能立為太子，反被削去封國三縣，使劉旦大失所望。昭帝繼位后，劉旦更加不滿，曾與中山哀王之子劉長、齊孝王孫劉澤共同謀反，后因事泄失敗。劉澤等被處死刑，而劉旦因與昭帝至親，特許勿治。

劉旦沒有絲毫悔改之意，暗中加緊網羅反對霍光與昭帝的勢力，不斷與上官桀等人聯絡。元鳳元年(公元前80年)，劉旦上書控告霍光 專權自恣，疑有非常，請求入京侍衛，準備與上官桀等人一起，趁機除掉霍光。他們誣陷霍光的陰謀破產后，便準備以宴請霍光為名，將其刺殺，然后廢昭帝，立劉旦為天子。事情被揭發后，霍光誅殺上官桀、上官安父子、桑弘羊、丁外人及其宗族。燕王劉旦、蓋公主自殺而死。歷史上稱這一事件為 燕蓋謀反。燕蓋謀反 的失敗標志霍光已清除了反對派勢力。

此時，金日磾早已死去，而上官桀、桑弘羊又被誅殺，霍光的權力日盛， 威震海內 ，其家族黨親連體，根據于朝廷：霍光之子霍禹及其兄之孫霍云皆為中郎將，霍云之弟霍山為奉車都尉侍中，領胡越兵，霍光的兩個女婿范明友、鄧廣漢為東西宮校尉，其他昆弟、諸婿、外孫皆為奉朝請、諸曹大夫、騎都尉、給事中。昭帝行冠禮后，仍繼續委任于霍光。

元平元年(公元前74年)，22歲的昭帝病死。因其無后，群臣推舉武帝唯一尚在世的兒子廣陵王劉胥繼位。史書上稱劉胥好倡樂逸游 ，動作無法度，不為武帝所喜愛，亦不孚眾望，所以有人提出廣陵王劉胥不可以承宗廟的意見以后，霍光當即表示同意，遂以皇太后名義詔昌邑王劉賀繼位。

劉賀入朝受皇帝璽后不久，霍光又以其 行淫亂、失帝王禮儀、亂漢制度，數進諫，不變更，日以益甚，恐危社稷，天下不安為名，率群臣上奏皇太后將其廢黜。

公元前74年，霍光選擇了武帝太子劉據之孫、十八歲的劉詢繼位，是為宣帝。劉據因巫蠱之禍 死后，出生僅數月的劉詢被送至民間收養，后遇赦回至皇宮，被稱為皇曾孫 ，但其地位與平民無異，娶嗇夫許廣漢之女為妻。由于他自幼生長民間，左右無眾多心腹，在中央亦無勢力，霍光便以其 躬行節儉，慈仁愛人為由，迎入未央宮。