嚴嵩雖然在嘉靖朝權傾一時，位高權重，為人也陰險狡詐，但他在家庭生活中卻是一個好丈夫，與結髮妻子歐陽氏的感情很好，沒有其他姬妾，二人育有二女一子。嚴嵩柄政時，朝野上下流傳著「大丞相」、「小丞相」的稱呼，「大丞相」指的是嚴嵩，「小丞相」指的就是嚴嵩獨子——嚴世蕃。
據說，明代有名的一部小說《金瓶梅》就與嚴世蕃有著千絲萬縷的聯繫。小說中的「西門慶」這個主要人物就是影射嚴世蕃而來的。嚴世蕃小名「慶兒」，號「東樓」，《金瓶梅》的作者「蘭陵笑笑生」將「東樓」化作「西門」，直接用「慶」字為名，創造出這個小說人物，來影射嚴世蕃荒淫無度的生活。這裡姑且不去考證「西門慶」到底是不是以嚴世蕃為原型，但嚴世蕃貪酷成性、生活糜爛卻是跟小說裡的西門慶非常相似。
一次，嚴嵩的義子趙文華從江南回來，送給嚴世蕃的見面禮就是一頂價值連城的金絲帳，還給嚴世蕃的二十七個姬妾每人一個珠寶髻。就這些禮物，嚴世蕃還嫌太少，心裏非常不滿，可見他的貪婪到了何種程度。世宗的第三子裕王朱載垕(chòu)，按例應被立為太子，但世宗對他不是很親近。因此，嚴氏父子對他也很冷淡。就連照例每年該給裕王府的歲賜，戶部都因為沒有嚴氏父子的命令而一連三年都沒給發放。最後，這位未來的皇帝湊了一千五百兩銀子送給嚴世蕃，嚴世蕃欣然接受，才讓戶部補發了歲賜。嚴世蕃每每向人誇耀：「天子的兒子尚且要送給我銀子，誰敢不給我送銀子?」嚴世蕃的膽子真是大到了極點。
嚴嵩雖然姦貪狡詐，但卻只有歐陽氏一個妻子，二人攜手終老。嚴世蕃在這點上與他父親截然不同。貪必好淫，淫必生貪，這話用在嚴嵩身上未必準確，但用在嚴世蕃的身上卻很合適。他荒淫無度的生活比起《金瓶梅》中的西門慶，有過之而無不及。嚴世蕃的妻妾就有二十七個，其他的侍女、丫鬟更是無數。他讓他的這些美妻嬌妾，列屋群居，她們所用服飾，繡著龍鳳花紋，點綴著珍珠寶石，極盡奢華之能事。嚴世蕃用象牙床，圍著金絲帳，朝歌夜舞，很為自己的奢糜生活感到得意。但是他沒想到，這正是他最被百姓痛恨的原因之一。嘉靖一朝，南倭北虜，民不聊生，嚴世蕃的大肆奢華鋪張當然就更招人忌恨。
嚴氏父子因其貪贓枉法早就被正直之士所痛恨，不斷有人站出來彈劾他們。但是，因為明世宗的偏聽偏信、嚴嵩的姦猾狡詐，這些彈劾不但都沒有奏效，那些上章彈劾他們父子的人反而往往備受打擊，丟官不說，有的還搭上了身家性命。
瀋煉，曾作錦衣衛經歷。嘉靖三十一年(1551)，上疏彈劾嚴嵩「貪婪愚鄙」，歷數其「受將帥之賄，邊防弛備」、「受諸王饋贈，干預宗室事務」、「攬御史之權，敗壞政紀」、「嫉賢妒能」等罪狀。世宗不但未將嚴嵩治罪，還認為這是瀋煉詆毀大臣，下詔將瀋煉廷杖、謫官。嚴氏父子並不罷休，幾年後，指使黨羽尋機陷害，瀋煉被斬，他的三個兒子，兩個被打死，一個被發配到邊疆。
被譽為明代第一直諫之臣的楊繼盛也是因彈劾嚴嵩而獲罪。嘉靖三十二年(1553)，時任兵部員外郎的楊繼盛上《請誅賊臣疏》，彈劾嚴嵩「壞祖宗之成法」、「竊皇上之大權」、「誤軍國之機」等十大罪狀、五大姦宄(ɡuǐ)，揭露嚴嵩禍國殃民的真實面目。在奏章的最後，楊繼盛懇求皇帝「聽臣之言，察嵩之姦」。疏中所奏嚴嵩的罪狀，嚴嵩無法抵賴，但嚴嵩畢竟老謀深算，他抓住楊繼盛疏中「或問二王(裕王、景王)，令其面陳嵩惡」這句話，誣陷楊繼盛與二王串通。剛愎自用的世宗最忌諱大臣們越過他和自己的兒子們結交，生怕因此而產生逼宮，遂不問疏中揭發嚴嵩的罪狀是否屬實，就降旨將楊繼盛逮捕入獄。在下獄兩年多後，楊繼盛於嘉靖三十四年(1555)被處決。行刑前，楊繼盛從容賦詩：浩氣還太虛，丹心照萬古。生前未了事，留與後人補。嚴氏父子再次僥倖逃脫，但是他們身邊早已危機四伏了。
世宗的荒誕、自大、殘忍和喜歡玩弄權術，使得他的行事無法用正常的邏輯來解釋。嚴嵩的仕途生涯與世宗緊緊相連，他的榮辱興衰都決定在皇帝一個人的手裡。嚴嵩入閣二十一年，任首輔十五年，除了楊士奇，有明一代，無人能及。嚴氏父子姦險誤國，早就成為眾矢之的，但是世宗卻無動於衷。那麼，嚴嵩究竟是怎麼垮臺的呢?原來，世宗下決心除去嚴氏父子，還是陰謀和權術共同作用所產生的結果。
嘉靖四十年(1561)，嚴嵩的妻子歐陽氏去世，嚴世蕃按舊時禮制應回鄉守制三年，雖然皇帝應嚴嵩的奏請，准許嚴世蕃留京，但他在居喪期間已不能代父入值票擬。嚴嵩此時已有八十餘歲，老朽昏聵，他所作的票擬往往言語不清，前後矛盾，他所進獻的青詞也都是別人代寫，這些多不稱世宗的心意，遂對嚴嵩漸漸心生不滿，後來又聽說嚴世蕃貪虐淫縱，對其父子更感厭惡。
這時，嚴嵩可謂是禍不單行，自己不得皇帝的歡心不說，還與時任次輔的徐階發生了漸趨白熱化的鬥爭。徐階是一個聰明而又有權略的人，他感覺到世宗對嚴嵩態度的微妙轉變，就買通了世宗很信任的一個名叫藍道行的道士。藍道行在扶乩的時候，顯現出「分宜父子，姦險弄權」的字樣，世宗問：「上天為何不誅殺他呢?」藍道行詭稱：「留待皇帝正法。」世宗心有所動。就在這一年，皇帝居住的萬壽宮發生一場大火，皇帝不知以後怎麼辦，向大臣詢問，嚴嵩竟建議皇帝搬到南宮去住。南宮是舊時英宗被幽錮之所，這對喜歡祥瑞的世宗來講，真是犯了大忌諱。徐階迎合皇帝心意，主張重建萬壽宮，沒多久，新宮拔地而起，比先前更巍峨漂亮。這樣，徐階在世宗心目中的地位漸有取代嚴嵩之勢。這件事成了嚴嵩晚年命運的轉折點。
嚴嵩失寵，御史鄒應龍聞風而動，上疏彈劾嚴嵩。嘉靖四十一年(1562)，在徐階的慫恿下，皇帝奪去嚴嵩一切官職，勒令回鄉，嚴世蕃謫戍雷州衛。嚴世蕃在謫戍雷州中途跑回江西老家，本性難移，繼續作惡多端。嘉靖四十三年(1564)，他又被御史彈劾。世宗大怒，將嚴世蕃逮捕下獄。第二年案結，世蕃被斬，嚴嵩被削籍為民，家產盡抄。嚴嵩只得在祖墳旁搭一茅屋，寄食其中，晚景非常淒涼。嘉靖四十五年(1566)四月，一代奸臣嚴嵩在孤獨和貧病交加中去世。他死時窮得買不起棺木，也沒有弔唁者。臨死前，嚴嵩艱難地寫下「平生報國惟忠赤，身死從人說是非」，擲筆而死。
當年的十二月，明世宗也龍馭賓天了。奸臣佐昏君，這一對君臣還真是「相得益彰」啊。二人同年而死，一個時代落幕了。
從嚴嵩臨終的留言可以看到，他是帶著無盡的委屈、不甘心和憤懣到了另一個世界的。《明史》稱：「嵩竊政二十年，溺信惡子，流毒天下，人咸指目為奸臣。」嚴嵩肯定想不到，他所揹負的「奸臣」罵名不但沒有因他的去世而消失，反倒廣為流傳，他的名字成為奸臣的代名詞。與此有關，這裡不得不提到一個明代有名的史學家——王世貞。
王世貞與嚴嵩結怨，傳說有一段公案。王世貞的父親就是被世宗處死的王忬。一個偶然的機會，王忬得到了價值連城的國寶《清明上河圖》，不久就被嚴氏父子得知，二人就向王忬索要。王忬迫於嚴氏父子的權勢，就讓一個畫師臨摹了一張送給嚴嵩，後來事情敗露，嚴嵩對其懷恨在心。後借王忬戍邊不力下獄之機，嚴嵩上奏本將其害死。因為這段積怨，王世貞在他所寫的《嘉靖以來首輔傳·嚴嵩傳》以及其他史著中，對嚴嵩多有詆毀，嚴嵩的聲名就此更是一落千丈。
