嘉靖四十一年(1562年)，身爲御史的鄒應龍忽上奏章，彈劾嚴世藩貪污受賄等不法之事。但奏章當時未敢即連嚴嵩，只講他“植黨蔽賢，溺愛惡子”。歷史上有些事，發端有時離奇近乎荒誕，鄒御史之所以敢於忽然間挺身而出，並非直接受徐階指使，而是緣於他所做的一夢：他夢見自己騎馬出獵，看見東邊有一高樓，土基宏壯，頂覆秸杆。鄒應龍拉弓而射，大樓轟然坍倒。醒後，鄒御史鼓勵自己，這是我搬倒“東樓”(嚴世藩)的吉兆啊，於是他奮筆疾書，立寫彈文。
嘉靖帝對嚴嵩父子日久生厭，又有道士們一旁竄掇，便下詔逮嚴世藩入大理獄，命嚴嵩致仕，“仍給歲祿”。
發現皇帝對老父嚴嵩沒有一棒子打死，嚴世藩深知事情不像想象中那樣不可挽救。他通過早先交結的內保太監，奏稱道士藍道行與鄒應龍裏外色結，陷害大臣。嘉靖帝各打五十大板，命人逮捕藍道士送入牢房審訊。嚴嵩囑託刑部的心腹，嚴刑拷打藍道行，最終目的讓他誣攀徐階爲幕後指使。誰料，藍道士挺“英勇”，堅決不承認受徐階囑指。由於嚴氏父子勢力根深固結，最終藍道行獲罪被處死。
朝中獨相十餘年，嚴嵩黨羽力量確實大。但是，如果不處理嚴世藩，又無法向皇帝交待，法司最後就“裁定”嚴世藩受賄八百兩白銀，上案於御前。廷議後，判決流放嚴世藩於雷州，其兩個兒子及心腹羅龍文等人分戌邊地。
嘉靖帝念嚴嵩舊情，特宥嚴世藩一個兒子爲民，回老家伺侯嚴嵩起居。
嚴嵩離朝後，沒人再與自己談玄論道，加之藍道行又被處決，年已半花的嘉靖帝追念老嚴過去二十多年的贊玄之功，悒悒不樂。於是，他把已經升任首輔的徐階叫來，表示自己要退居二線，當太上皇，準備在西內一心拜道。徐階極陳不可，諫勸皇帝不要擱挑子。“好，既然如此，你們一定要與朕同輔玄修，努力崇道，日後再有誰敢上疏劾奏追論嚴嵩、嚴世藩父子，朕一定下令把他們與鄒應龍一同送斬!”
遠在江西南昌的嚴嵩聞此，知道帝意仍有念舊之情，就趁嘉靖帝生日，在鐵柱宮使道士建醮爲皇帝祈禱，親自撰寫《祈鶴文》獻上。皇帝優詔答之。見有回信，嚴嵩登老二上肚臍，上疏乞求皇帝准許自己被流放的子孫回南昌能給自己養老。對此，嘉靖帝沒有答應。
事已至此，嚴世藩也不消停，惹事不斷。他被明廷下令流放雷州，但是，剛剛行至半道，他便擅自回返，在南昌大興土木，修建豪華別墅。更危險的是，他常常酒後宣言：“哪天我得以重起，一定要拿下徐老頭的人頭，鄒應龍也跑不掉!”
徐階得聞，忽起斬草除根之心。嚴嵩聽見兒子如此放話，嘆息對左右講：“此兒誤我太多。聖恩隆厚，我得善歸。此兒雖被遣戍，遇赦也可得歸。今忽忽大言，惹怒聖上與徐階，我嚴氏家族，橫屍都門那天，想必不遠矣!”
合該有事。袁州推官郭諫臣因公事路過嚴嵩府宅，看見一千多工匠正大修府邸。嚴府僕人作監工，望見郭推官根本不起身見禮。郭諫臣大怒，上狀於御史林潤。這位巡察御史先前劾奏過嚴嵩黨徒，很怕日後嚴嵩父子重起遭到報復，見此狀大喜，立刻添汕加醋，上奏嚴世藩在江西陰聚徒衆，誹謗朝議，圖謀不軌。同時，他還奏稱小嚴聚數千人(一下把數目擴大幾倍)以修宅爲名，陰謀造反。
疏上，嘉靖帝大怒，命林潤詔逮嚴世藩等人入主京審訊。
林潤得令即行，一面下令捕人，一面又上奏疏，半真半假，把嚴世藩一案渲染得活靈活現：
(嚴)世蕃罪惡，積非一日，任彭孔爲主謀，羅龍文爲羽翼，惡子嚴鵠、嚴鴻爲爪牙，佔會城廒倉，吞宗藩府第，奪平民房舍，又改釐祝之宮以爲家祠，鑿穿城之池以象西海，直欄橫檻，峻宇雕牆，巍然朝堂之規模也。袁城之中，列爲五府，南府居鵠，西府居鴻，東府居紹慶，中府居紹庠，而(嚴)嵩與(嚴)世蕃，則居相府，招四方之亡命，爲護衛之壯丁，森然分封之儀度也(喻指嚴氏父子僭越制度自以爲王爺)。
總天下之貨寶，盡入其家，(嚴)世蕃已逾天府，諸子各冠東南，雖豪僕嚴年，謀客彭孔，家資亦稱億萬，民窮盜起，職此之由，而曰：“朝廷無如我富”。粉黛之女，列屋駢居，衣皆龍鳳之文，飾盡珠玉之寶，張象牀，圍金幄，朝歌夜弦，宣淫無度，而曰：“朝廷無如我樂”。甚者畜養廝徒，招納叛卒，旦則伐鼓而聚，暮則鳴金而解，明稱官舍，出沒江廣，劫掠士民，其家人嚴壽二、嚴銀一等，陰養刺客，昏夜殺人，奪人子女，劫人金錢，半歲之間，事發者二十有七。
而且包藏禍心，陰結典楧，在朝則爲寧賢，居鄉則爲(朱)宸濠(喻指嚴氏父子想效仿朱宸濠造反)，以一人之身，而總羣奸之惡，雖赤其族，猶有餘辜。嚴嵩不顧子未赴伍，朦朧請移近衛，既奉明旨，居然藏匿，以國法爲不足遵，以公議爲不足恤，(嚴)世蕃稔惡，有司受詞數千，盡送父(嚴)嵩。
(嚴)嵩閱其詞而處分之，尚可諉於不知乎?既知之，又縱之，又曲庇之，此臣謂(嚴)嵩不能無罪也。現已將(嚴)世蕃、龍文等，拿解京師，伏乞皇上盡情懲治，以爲將來之罔上行私，藐法謀逆者戒!
從實而言，嚴世藩死有餘辜，但徐階玩的這種政治手腕，也過於陰狠，非要編造莫須有的通倭謀逆大罪來搞嚴家，其目的就是一定要牽連上嚴嵩。謀逆大罪，株連抄家發泄絕對難免，徐相爺非要置政治對手老嚴和小嚴永世不得翻身。對於這一點，明朝當時及日後多有人不平，認爲徐階的手段，使嚴世藩的罪名不能服天下人心，刑非所犯，於理不稱。
天道好還。日後徐階下臺，又被“後浪”高拱怨恨算計，以其二子鄉間怙勢犯法爲由，把徐老頭二個兒子罰往邊地“勞改”，老徐自己差點與老嚴前輩殊途同歸，在風燭殘年孤獨而終。幸虧不久張居正把高拱又拱下去，老徐才得保令終。
作爲徐階弟子的張居正還算厚道，他當政後，派江西地方官員收拾嚴嵩枯骨，修墳安葬。嚴爺再怎樣也是堂堂大明一代宰相，總不能和要飯花子一樣的死法、葬法。
嘉靖一朝，正因爲無大奸太監，方顯嚴嵩柄政的“罪惡”。其實，許多軍國大事方面，嘉靖帝乾綱獨斷，最大的壞事都就是皇帝拍板，嚴嵩依惟而已。
