嘉靖四十一年(1562年)，身為御史的鄒應龍忽上奏章，彈劾嚴世藩貪污受賄等不法之事。但奏章當時未敢即連嚴嵩，只講他“植黨蔽賢，溺愛惡子”。歷史上有些事，發端有時離奇近乎荒誕，鄒御史之所以敢于忽然間挺身而出，并非直接受徐階指使，而是緣于他所做的一夢：他夢見自己騎馬出獵，看見東邊有一高樓，土基宏壯，頂覆秸桿。鄒應龍拉弓而射，大樓轟然坍倒。醒后，鄒御史鼓勵自己，這是我搬倒“東樓”(嚴世藩)的吉兆啊，于是他奮筆疾書，立寫彈文。

嘉靖帝對嚴嵩父子日久生厭，又有道士們一旁竄掇，便下詔逮嚴世藩入大理獄，命嚴嵩致仕，“仍給歲祿”。

發現皇帝對老父嚴嵩沒有一棒子打死，嚴世藩深知事情不像想象中那樣不可挽救。他通過早先交結的內保太監，奏稱道士藍道行與鄒應龍里外色結，陷害大臣。嘉靖帝各打五十大板，命人逮捕藍道士送入牢房審訊。嚴嵩囑托刑部的心腹，嚴刑拷打藍道行，最終目的讓他誣攀徐階為幕后指使。誰料，藍道士挺“英勇”，堅決不承認受徐階囑指。由于嚴氏父子勢力根深固結，最終藍道行獲罪被處死。

朝中獨相十余年，嚴嵩黨羽力量確實大。但是，如果不處理嚴世藩，又無法向皇帝交待，法司最后就“裁定”嚴世藩受賄八百兩白銀，上案于御前。廷議后，判決流放嚴世藩于雷州，其兩個兒子及心腹羅龍文等人分戌邊地。

嘉靖帝念嚴嵩舊情，特宥嚴世藩一個兒子為民，回老家伺侯嚴嵩起居。

嚴嵩離朝后，沒人再與自己談玄論道，加之藍道行又被處決，年已半花的嘉靖帝追念老嚴過去二十多年的贊玄之功，悒悒不樂。于是，他把已經升任首輔的徐階叫來，表示自己要退居二線，當太上皇，準備在西內一心拜道。徐階極陳不可，諫勸皇帝不要擱挑子。“好，既然如此，你們一定要與朕同輔玄修，努力崇道，日后再有誰敢上疏劾奏追論嚴嵩、嚴世藩父子，朕一定下令把他們與鄒應龍一同送斬！”

遠在江西南昌的嚴嵩聞此，知道帝意仍有念舊之情，就趁嘉靖帝生日，在鐵柱宮使道士建醮為皇帝祈禱，親自撰寫《祈鶴文》獻上。皇帝優詔答之。見有回信，嚴嵩登老二上肚臍，上疏乞求皇帝準許自己被流放的子孫回南昌能給自己養老。對此，嘉靖帝沒有答應。

事已至此，嚴世藩也不消停，惹事不斷。他被明廷下令流放雷州，但是，剛剛行至半道，他便擅自回返，在南昌大興土木，修建豪華別墅。更危險的是，他常常酒后宣言：“哪天我得以重起，一定要拿下徐老頭的人頭，鄒應龍也跑不掉！”

徐階得聞，忽起斬草除根之心。嚴嵩聽見兒子如此放話，嘆息對左右講：“此兒誤我太多。圣恩隆厚，我得善歸。此兒雖被遣戍，遇赦也可得歸。今忽忽大言，惹怒圣上與徐階，我嚴氏家族，橫尸都門那天，想必不遠矣！”

合該有事。袁州推官郭諫臣因公事路過嚴嵩府宅，看見一千多工匠正大修府邸。嚴府仆人作監工，望見郭推官根本不起身見禮。郭諫臣大怒，上狀于御史林潤。這位巡察御史先前劾奏過嚴嵩黨徒，很怕日后嚴嵩父子重起遭到報復，見此狀大喜，立刻添汕加醋，上奏嚴世藩在江西陰聚徒眾，誹謗朝議，圖謀不軌。同時，他還奏稱小嚴聚數千人(一下把數目擴大幾倍)以修宅為名，陰謀造反。

疏上，嘉靖帝大怒，命林潤詔逮嚴世藩等人入主京審訊。

林潤得令即行，一面下令捕人，一面又上奏疏，半真半假，把嚴世藩一案渲染得活靈活現：

(嚴)世蕃罪惡，積非一日，任彭孔為主謀，羅龍文為羽翼，惡子嚴鵠、嚴鴻為爪牙，占會城廒倉，吞宗藩府第，奪平民房舍，又改厘祝之宮以為家祠，鑿穿城之池以象西海，直欄橫檻，峻宇雕墻，巍然朝堂之規模也。袁城之中，列為五府，南府居鵠，西府居鴻，東府居紹慶，中府居紹庠，而(嚴)嵩與(嚴)世蕃，則居相府，招四方之亡命，為護衛之壯丁，森然分封之儀度也(喻指嚴氏父子僭越制度自以為王爺)。

總天下之貨寶，盡入其家，(嚴)世蕃已逾天府，諸子各冠東南，雖豪仆嚴年，謀客彭孔，家資亦稱億萬，民窮盜起，職此之由，而曰：“朝廷無如我富”。粉黛之女，列屋駢居，衣皆龍鳳之文，飾盡珠玉之寶，張象床，圍金幄，朝歌夜弦，宣淫無度，而曰：“朝廷無如我樂”。甚者畜養廝徒，招納叛卒，旦則伐鼓而聚，暮則鳴金而解，明稱官舍，出沒江廣，劫掠士民，其家人嚴壽二、嚴銀一等，陰養刺客，昏夜殺人，奪人子女，劫人金錢，半歲之間，事發者二十有七。

而且包藏禍心，陰結典楧，在朝則為寧賢，居鄉則為(朱)宸濠(喻指嚴氏父子想效仿朱宸濠造反)，以一人之身，而總群奸之惡，雖赤其族，猶有余辜。嚴嵩不顧子未赴伍，朦朧請移近衛，既奉明旨，居然藏匿，以國法為不足遵，以公議為不足恤，(嚴)世蕃稔惡，有司受詞數千，盡送父(嚴)嵩。

(嚴)嵩閱其詞而處分之，尚可諉于不知乎？既知之，又縱之，又曲庇之，此臣謂(嚴)嵩不能無罪也。現已將(嚴)世蕃、龍文等，拿解京師，伏乞皇上盡情懲治，以為將來之罔上行私，藐法謀逆者戒！

從實而言，嚴世藩死有余辜，但徐階玩的這種政治手腕，也過于陰狠，非要編造莫須有的通倭謀逆大罪來搞嚴家，其目的就是一定要牽連上嚴嵩。謀逆大罪，株連抄家發泄絕對難免，徐相爺非要置政治對手老嚴和小嚴永世不得翻身。對于這一點，明朝當時及日后多有人不平，認為徐階的手段，使嚴世藩的罪名不能服天下人心，刑非所犯，于理不稱。

天道好還。日后徐階下臺，又被“后浪”高拱怨恨算計，以其二子鄉間怙勢犯法為由，把徐老頭二個兒子罰往邊地“勞改”，老徐自己差點與老嚴前輩殊途同歸，在風燭殘年孤獨而終。幸虧不久張居正把高拱又拱下去，老徐才得保令終。

作為徐階弟子的張居正還算厚道，他當政后，派江西地方官員收拾嚴嵩枯骨，修墳安葬。嚴爺再怎樣也是堂堂大明一代宰相，總不能和要飯花子一樣的死法、葬法。

嘉靖一朝，正因為無大奸太監，方顯嚴嵩柄政的“罪惡”。其實，許多軍國大事方面，嘉靖帝乾綱獨斷，最大的壞事都就是皇帝拍板，嚴嵩依惟而已。