他出仕的时期正值明代中叶正德、嘉靖年间这个多事之秋。明世宗在位四十六年，他只关心两件事，即“大礼议”和玄修，而大臣们在这两件事上的态度则是他衡量人才的标准。
严嵩在这两件事上表现得都恰到好处，因议礼而骤贵，赞玄修而得宠。“猜忌之主，喜用柔媚之臣”，纵观严嵩的一生，我们可以看到严嵩的人生信条是不做山，只做水，随地方，就地圆。
严嵩这个人的形象，先后截然不同：他先曾退隐家乡的钤(qiaｎ)山，潜心诗学，其诗“清丽婉弱，不乏风人之致”，又与文人墨客倾心相交，俨然是一个 “天下以公望归之”的雅人；后来入阁柄政二十余年，几番沉浮，成为明代少有的几个能够“得君专政”的内阁大学士，然而这段政治生涯却将他的声誉毁损殆尽，他成为“近代权奸之首，至今儿童妇人，皆能指其姓名，戟手唾骂”(钱谦益语)。为什么会发生这么大的不同呢？在我们看来，这还是跟他个人的性格有关。
严嵩，字惟中，号介溪，又号勉庵，成化十六年(1480)正月二十二日出生于江西袁州府分宜县介桥村。祖父严骥、父亲严淮虽然都是布衣百姓，但在明代江西习儒之风颇为盛行的背景下，严嵩又是长房长孙，自出生时起，就被严家寄以光宗耀祖的厚望。多年后，严嵩位居宰辅，父、祖因之受封赠，严家改换门庭的愿望终于在严嵩身上得到实现。
严氏家境并不富裕。严嵩自幼聪颖，其父严淮倾其所有供他读书。经过多年苦读，严嵩终于在弘治十八年(1505)考中进士，并随之以《雨后观芍药诗》入选翰林院为庶吉士(明制，选新进士中擅长文学与书法者担任庶吉士，继续学习，并练习政事)，这年严嵩刚刚二十六岁。正德二年 (1507)，严嵩庶吉士结业，被授为翰林院编修。他终于实现了父祖的夙愿，跻(jī)身于翰林之列，找到了晋升的阶梯。
严嵩少年得志，一片锦绣前程似乎已在他的面前展现。但是，在正德三年(1508)三月和次年夏天，因祖父和母亲相继去世，他不得不回乡守制，中断了官场生涯。按照封建礼制，子孙守制三年即可(实际不足三年，仅二十七个月)，而严嵩却在家一呆就是八年。原来，借守制为名，他在家乡的钤山读起书来。正当壮年，严嵩何以退隐钤山，闲居八年呢？这还得与正德年间特殊的政治环境联系起来。
武宗朱厚照好逸乐，建豹房，游宣府，终日为所欲为，纵情享乐，是个典型的荒嬉无道的皇帝。武宗的荒政，给宦官刘瑾提供了擅权之机，使得明代正德年间的宦官之祸愈演愈烈，许多忠直之士都受到各种不同程度的打击和迫害。
严嵩退隐钤山，正是仔细分析当时的政治形势后才做出的决定。作为新科翰林，如果他与阉党抗衡，无异于螳臂挡车，自取灭亡。如果出仕，则必须投靠阉党，而这是为读书人所不耻的。严嵩退隐钤山，也与明代的党争有着千丝万缕的关系。其时当权的宦官刘瑾是陕西人，阁臣焦芳是河南人，因此，他们提拔、引用的大批官员都是北方人。朝廷中是北人的天下，南人大多受到打击和排挤。尤其是阁臣焦芳，对江西人格外排挤。原来，焦芳曾为侍讲九年，后迁学士时，因人品不佳，遭到江西人詹事彭华的讽刺：“焦芳也做了学士吗？”焦芳遂对江西人恨之入骨，曾公然宣称：“他日毋得滥用江西人。”严嵩籍系江西，而且位卑权小，在当时的政治舞台上，丝毫没有他能施展才智的机会。正因如此，严嵩才审时度势，借丁忧之机，托辞称病。
正德三年，严嵩在钤山之麓修建堂舍，取名“钤山堂”，过起了隐居生活，以诗文自娱。在此期间，严嵩“锐意名山大川，揽胜寻幽，著述日富”。严嵩在文学方面颇有造诣，其诗文有清雅之名。时人李梦阳曾说：“如今词章之学，翰林诸公，严惟中为最。”何良俊称：“严介老之诗，秀丽清警，近代名家，鲜有能出其右者。”严嵩的文学造诣在后世的史书中很少被人提及，这与严嵩身负“奸臣”的骂名有关。但是，因人废文并不可取，他在诗文方面的成就还是值得肯定的。严嵩还写得一手好字，传说北京老字号酱菜店“六必居”三个字就是他的墨宝。
在归隐期间，严嵩还广结名流，跟李梦阳、王守仁、何景明、王廷相等人都有交往。这些人不仅学问渊博，而且还都曾是敢与阉党作斗争的仁人志士，颇有名望。严嵩与他们把酒论诗，剖经析义，既提高了自身的文学声望，也扩大了社会影响。正德七年(1512)，严嵩还应袁州府太守之请，修《袁州府志》。严嵩经过三年努力，于正德九年(1514)将《袁州府志》纂修完毕。该志体例颇有独到之处，严嵩因之声望日隆。
钤山隐居的八年，对严嵩的宦海生涯具有重要的意义。避居钤山，严嵩能够明哲保身，远离政治斗争。在此期间，严嵩潜心读书，埋头诗作，其文学素养大为长进，这对他复出后能够纵横官场、诗文奏对得到皇帝欢心大有裨益。同时，严嵩通过八年的韬光养晦，也为自己赢得了清誉，此时的他已不再只是个新科进士，而是具有很高文学声望和社会影响力的人物。这为他重返仕途积累了充足的资本。
正德后期，政局变化很大，刘瑾被诛，焦芳削官，朝廷中当政的主要是杨廷和、费宏等人。他们都是南人，也多属于正人君子，与严嵩还多少有些交情。在严嵩看来，已经等到了出山的时机。正德十一年(1516)三月，严嵩应诏复职，启程赴京，重返仕途。
严嵩像只猎鹰一样，睁大双眼，寻找能在官场飞黄腾达的机会。功夫不负有心人，机会终于从天而降。正德十六年(1521)，武宗朱厚照驾崩，他的堂弟朱厚熜继承皇位，即世宗皇帝。小皇帝继位时年方十五岁，却城府很深，非常有主见。他为了追崇自己的本生父母，与廷臣们进行了一场旷日持久的“大礼议”之争。这场争论历时二十多年，是明朝历史上的大事，在中国历史上也是罕见的。
明世宗之所以掀起这场争斗，表面上看是因为他为其父的封号、祭祀典礼和称宗入庙等问题，与大臣们发生了激烈的争论。而“礼议”之争的实质，首先在于世宗以藩王入继大统，追封没有做过皇帝的兴献王为皇帝，目的是维护自己继承皇位的合法性，表明他的皇位不是继承其堂兄武宗，而是来自他父亲这一脉的血缘关系，也就是直接上承他的祖父孝宗。其次，这也是世宗与前朝老臣之间的一场权力斗争。世宗借“礼议”之争，把杨廷和等迎立有功的前朝辅臣清理出朝廷，以免出现日后他们恃功自傲的局面。世宗的刚愎自用、刻薄寡恩在明朝皇帝中也算得上是表现比较突出的一个。“礼议”之争以明世宗的胜利而结束，许多朝臣因为礼议之争，或丧命，或下狱，或遭贬，而严嵩却是“礼议”之争中的少数几个受惠者之一。
严嵩自正德十一年重返仕途后，多在翰林院、国子监等政治斗争相对较少的地方任职，而且还曾多年居官南京。在“大礼议”之争最激烈的前期，严嵩没有卷进这场斗争的漩涡中，得以自保。而在礼议之争后期发生的一件事情中，严嵩善于观察政治风向，及时地把握住了机会，开始得到世宗的青睐。
这件事发生在嘉靖十七年(1538)六月，世宗欲让生父献皇帝称宗入太庙，命下礼部集议。这时任礼部尚书的严嵩是躲不过去的了。这是个棘手的差事，顺从皇帝，立刻就会招来骂名；按照惯例来秉公办理，自己乌纱帽难保。经过一番思前想后、仔细斟酌，严嵩最后写了一份模棱两可的奏疏交给皇上。世宗对他的骑墙态度非常不满，亲书《明堂或问》，警示廷臣，言语犀利，坚决表示要让其父献皇帝称宗入庙。这对严嵩刺激很大，他惶恐不安，生怕皇帝怪罪。于是，严嵩尽改前说，完全顺从皇帝的意思，为世宗的生父献皇帝祔太庙配享安排了隆重的礼仪，并充分发挥自己的才能，在祭祀礼毕后，写了《庆云颂》和《大礼告成颂》，文笔绝佳，很得皇帝赏识。这件事在严嵩的宦海生涯中具有决定性的意义，成为他政治命运的转折点。从此，他平步青云。
严嵩终于帮世宗实现了生父称宗入庙的心愿。世宗在“礼议”之争中取得最后的胜利，严嵩功不可没。而在这件事上，严嵩也接受了教训——从此，他对世宗言听计从，走上了“柔媚之臣”的道路。
世宗在政治上无甚建树，却将主要精力放在了玄修上，热衷于炼丹制药和祈求长生。在那些看似神秘的仪式中，他经常需要撰写一些焚化祭天的青词，由此就产生了明朝乃至中国历史上都非常奇特的青词宰相。
所谓青词，就是道教斋醮(jiaｏ)时上奏天帝所用的表章，因用朱笔写在青藤纸上，故名。这是一种赋体文章，需要以极其华丽的文笔表达出皇帝对天帝的敬意和求仙的诚意。世宗经常要求臣下进献青词，写得好的立即加官晋爵，甚至入内阁。当时朝中的许多大臣都因进献青词而得宠，严嵩同榜的状元顾鼎臣就因青词得宠而入内阁。严嵩文笔颇佳，所作青词无不合乎世宗之意，因而找到了一条升官的捷径。嘉靖十八年(1539)正月，皇帝举行“尊天重典”，礼部尚书严嵩尽职尽责，作青词颂德，被特加太子太保。当时，夏言与严嵩“俱以青词得幸”，时人讥为“青词宰相”。
这个夏言也非等闲人物，因在大礼议中站在皇帝一边而骤然受宠，曾在世宗朝前期担任过礼部尚书，后来又担任内阁首辅。他在严嵩的政治生涯中起过重要作用。他曾经是严嵩向上爬的阶梯，后又与严嵩相互倾轧。在经过了长达十余年惊心动魄的争斗后，他被严嵩陷害，惨遭弃市(弃市是古代的一种刑法，在闹市处以死刑，并将犯人暴尸街头。)。
夏言是武宗正德十二年(1517)才考中的进士，要比严嵩晚十多年，但是他升迁很快，职位比严嵩高。嘉靖十五年(1536)，夏言入阁拜相，十八年 (1539)升为首辅。严嵩在重返仕途的十多年里，一直担任没有什么实权的官职，这令他既苦闷又很不甘心。此时，夏言进入了他的视野。夏言与他是江西同乡，有了这样一层关系，他对夏言极力巴结，曲意奉承，终于得到夏言的信任，多次为他引荐。严嵩就是在他的提携下升任礼部尚书的。
然而二人的关系并非铁板一块，夏言对他又拉又打。在严嵩日渐宠信、欲入内阁之时，却因夏言的阻止未能如愿。严嵩表面上依旧对夏言恭谨和顺，背地里却恨得咬牙切齿，开始谋划如何扳倒夏言。夏言“豪迈有俊才，纵横辨博，人莫能屈”，为官勇于扶正，但他仗着皇帝的宠信，有些骄横，有时在世宗面前也态度疏慢。当时在大臣中颇有微词，有“不睹费宏，不知相大；不见夏言，不知相尊”之语。严嵩就利用夏言性格上的弱点，大做文章，在言行上和夏言形成鲜明的对比。他对世宗更加俯首贴耳，阴柔谄媚，处处表现得谦卑忠勤；对同僚更加恭敬礼让，因而很得人心。
在一些具体事件上，严嵩某些如小丑般的表现，更是让世宗非常满意。按明朝冠服制度，皇帝戴的帽子是用乌纱折巾而成的，称为翼善冠。明世宗推崇道教，不戴自己应该戴的翼善冠而戴香叶冠，也就是道士帽。他还特制了五顶香叶冠分赐给夏言、严嵩等人。夏言认为这不是大臣的正式朝服，不应该戴，因此从来没有戴过，世宗对此非常生气。严嵩为了讨得皇帝的欢心，在入值西苑、皇帝召对的日子，特意戴上香叶冠，还在冠上笼以青纱，以示庄重。世宗见了，果然龙心大悦。同时，世宗命大臣们入值西苑时，都按照道士的习惯骑马，不准坐轿。夏言根本不理会，依然是坐轿进出西苑。对此，世宗也心存不满。
夏言这些轻视道士的举动，间接地体现了他对世宗修仙误国的做法多少有些抵触情绪。夏言的举动也使皇帝身边的道士对他衔恨在心，少不了在皇帝面前借机诋毁他。众口铄金，夏言渐渐地失去了皇帝的恩宠。严嵩看时机成熟，就在一次世宗单独召见他的时候，痛哭流涕地诉说夏言平时对他和其他大臣肆意欺凌。不久发生日食，严嵩又借上天警示之名趁机陷害夏言傲慢犯上。世宗不由得勃然大怒，立即罢了夏言的官职，把他赶回了家。天遂人愿，严嵩终于搬掉了自己前进路上的绊脚石。嘉靖二十一年(1542)八月，严嵩补了夏言离去后的空缺，以武英殿大学士入内阁参预机务。
这时，严嵩已经是个六十多岁的老人，但却精神矍(jue）烁，老当益壮，日夜在西苑侍值，常跟从在皇帝左右。世宗越发离不开他，对他恩宠有加。严嵩没有因为入阁而满足，他为独揽朝政，千方百计打击异己，并结党纳贿，动辄以千万计。其间曾有多位言官对严嵩进行弹劾，都因皇帝的庇护，而对之奈何不得。
不过，对皇帝来说，权臣是他所不能容忍的。嘉靖二十四年(1545)，世宗因听到一些有关严嵩骄横的传言，对他渐生厌恶之心。恰巧此时内阁缺人，世宗下诏再次起用夏言。夏言入阁后重任首辅，职位在严嵩之上。因上次去职的缘故，夏言对严嵩的为人很鄙视。夏言对严嵩不但轻慢如前，还时时加以打击。夏言处理政事时根本就不征求严嵩的意见，并把严嵩安排的亲信尽数除去。没过多久，又发生了一件让严嵩颜面扫地的事。严嵩独子严世蕃借他父亲的权势做了尚宝司少卿，管理一些工程项目，多方盘剥，大肆贪污受贿。这些不法行为被夏言察知，欲上疏弹劾。严嵩听说后，知道将大祸临头，拉上儿子直奔夏言家请求拜见。夏言托病不出，严嵩买通门房，携子直入后堂，不顾脸面，父子双双跪倒在夏言之前，请求夏言宽大为怀，放过世蕃。夏言被说得心软了，答应不再追究。夏言为人易动恻隐之心，严嵩正是利用这一点，使严家逃过了一次灭顶之灾。但是，他对夏言的怨恨却与日俱增，表面上笑语周旋，暗地里却在伺机反攻。
世宗是个多疑的人，他在西苑斋居时，就地筑有值房，表面上是方便大臣们值班处理政务，暗中却经常派小太监窥视大臣们的行动。夏言根本不把这些小太监放在眼里，依然我行我素，忙于政务。而严嵩则不同，他知道和这些宦官搞好关系很重要，便对这些小太监多多礼让，还时常塞些金银进行贿赂。世宗听了小太监添枝加叶的汇报，对二人有了截然不同的印象。当初，夏言与严嵩都是因青词得幸，这时夏言已年迈倦怠，青词稿大多都是让他的幕客撰写，自己也不再审阅，甚至有很多青词都是原来曾经进献过的，世宗非常生气，动辄就把他进献的青词丢弃到地上，而皇帝身边的人没有谁将此情形透露给夏言。严嵩在青词上却更下功夫，经常在夜深人静的时候，在灯下装作阅看青词稿的样子。这样，严嵩的恩宠更加巩固，夏言的地位又岌岌可危了。
嘉靖二十五年(1546)，兵部侍郎曾铣总督陕西三边军务。他出于边防上的考虑，提出收复被蒙古占领的河套地区的计划。河套地区就是今天宁夏和内蒙古境内贺兰山以东、狼山和大青山以南的大片黄河沿岸地区。控制河套地区，对明代的边防具有重要的战略意义。世宗向大臣们征询意见，夏言表示赞同，严嵩则坚决反对。严嵩还趁机攻击夏言和曾铣是“擅权自用”、 “好大喜功”。这时，恰巧内宫失火，皇后去世，这些变故让世宗惊惧不安。不久，蒙古军进扰延安、宁夏等地，严嵩趁机对世宗说，这些都是因为夏言、曾铣要收复河套造成的。世宗对此深信不疑，立即将曾铣缉拿处死，让夏言再次致仕。严嵩怕夏言他日东山再起，必欲将其置于死地而后快。于是，他又诬蔑夏言是收受了曾铣的贿赂而支持收复河套的。大臣与边将勾结是大罪，于是夏言终于在嘉靖二十七年(1548)惨遭弃市。
严嵩与夏言长达十多年的惊心动魄的斗争，最后以严嵩的胜利而告终。在这场争斗中，严嵩性格中的刻薄寡恩、阴险狡诈、心狠手辣的特点都得到了淋漓尽致的表现。严嵩费尽心机，终于位极人臣。
最初，夏言惨死时，没有人为他喊冤。等到严嵩在政治上胡作非为、“祸及天下”的时候，人们才感到夏言死得可惜。有意思的是，日后代替严嵩的首辅徐阶恰恰是夏言所推崇赏识的人物，徐阶在严嵩垮台的过程中起到了重要作用，历史仿佛经历了一个轮回。夏言不久也就被平反了，官复原职，赐祭葬。
严嵩虽然在嘉靖朝权倾一时，位高权重，为人也阴险狡诈，但他在家庭生活中却是一个好丈夫，与结发妻子欧阳氏的感情很好，没有其他姬妾，二人育有二女一子。严嵩柄政时，朝野上下流传着“大丞相”、“小丞相”的称呼，“大丞相”指的是严嵩，“小丞相”指的就是严嵩独子——严世蕃。
严世蕃，号东楼，生于正德八年(1513)，嘉靖四十四年(1565)三月，因罪被斩，时年五十三岁。严世蕃不是经过科举走上仕途，而是借他父亲的光，先入国子监读书，后做官，累迁至尚宝司少卿和工部右侍郎。据说，严嵩长得又高又瘦，眉目疏疏，声音又大又尖，很符合百姓心目中刻画的奸臣形象。可是，严世蕃的长相和他爹却一点相似的地方都没有，“短项肥体”，果然是富家公子气象，只是可惜一目失明。严世蕃奸猾机灵，通晓时务，熟悉国典，而且还颇会揣摩别人的心意。
嘉靖二十七年(1548)，严嵩再任首辅时，已经年近七旬，逐渐有些年迈体衰，精神倦怠。这时，他还要日夜随侍在皇帝左右，已经没有时间和精力处理政务。如遇事需要裁决，多依靠其子。他总是说“等我与东楼小儿计议后再定”，甚至私下让世蕃直接入值，代其票拟。票拟就是内阁在接到奏章后作出批答，再由皇帝审定，是阁臣权力的重要体现。世蕃的票拟多能迎合世宗的心意，因此多次得到世宗的嘉奖。严嵩干脆就将政务都交给其子，世蕃一时“权倾天下”。
据说，明代有名的一部小说《金瓶梅》就与严世蕃有着千丝万缕的联系。小说中的“西门庆”这个主要人物就是影射严世蕃而来的。严世蕃小名“庆儿”，号 “东楼”，《金瓶梅》的作者“兰陵笑笑生”将“东楼”化作“西门”，直接用“庆”字为名，创造出这个小说人物，来影射严世蕃荒淫无度的生活。这里姑且不去考证“西门庆”到底是不是以严世蕃为原型，但严世蕃贪酷成性、生活糜烂却是跟小说里的西门庆非常相似。
一次，严嵩的义子赵文华从江南回来，送给严世蕃的见面礼就是一顶价值连城的金丝帐，还给严世蕃的二十七个姬妾每人一个珠宝髻。就这些礼物，严世蕃还嫌太少，心里非常不满，可见他的贪婪到了何种程度。世宗的第三子裕王朱载垕(choｕ)，按例应被立为太子，但世宗对他不是很亲近。因此，严氏父子对他也很冷淡。就连照例每年该给裕王府的岁赐，户部都因为没有严氏父子的命令而一连三年都没给发放。最后，这位未来的皇帝凑了一千五百两银子送给严世蕃，严世蕃欣然接受，才让户部补发了岁赐。严世蕃每每向人夸耀：“天子的儿子尚且要送给我银子，谁敢不给我送银子？”严世蕃的胆子真是大到了极点。
当时严氏父子把持着朝中官吏的任选、升迁。官无大小，皆有定价，不看官员的口碑、能力，一切都以官员的贿金为准。严世蕃利用各种手段大肆搜刮，家财富可敌国。据说，严世蕃与妻子要将金银埋藏到地窖里，想起这都是仰仗他父亲得来的，于是就请严嵩来观赏，严嵩一见，数量之巨出乎想像，顿时目瞪口呆，隐约感到大祸将至。
严嵩虽然奸贪狡诈，但却只有欧阳氏一个妻子，二人携手终老。严世蕃在这点上与他父亲截然不同。贪必好淫，淫必生贪，这话用在严嵩身上未必准确，但用在严世蕃的身上却很合适。他荒淫无度的生活比起《金瓶梅》中的西门庆，有过之而无不及。严世蕃的妻妾就有二十七个，其他的侍女、丫鬟更是无数。他让他的这些美妻娇妾，列屋群居，她们所用服饰，绣着龙凤花纹，点缀着珍珠宝石，极尽奢华之能事。严世蕃用象牙床，围着金丝帐，朝歌夜舞，很为自己的奢糜生活感到得意。但是他没想到，这正是他最被百姓痛恨的原因之一。嘉靖一朝，南倭北虏，民不聊生，严世蕃的大肆奢华铺张当然就更招人忌恨。
严氏父子因其贪赃枉法早就被正直之士所痛恨，不断有人站出来弹劾他们。但是，因为明世宗的偏听偏信、严嵩的奸猾狡诈，这些弹劾不但都没有奏效，那些上章弹劾他们父子的人反而往往备受打击，丢官不说，有的还搭上了身家性命。
沈炼，曾作锦衣卫经历。嘉靖三十一年(1551)，上疏弹劾严嵩“贪婪愚鄙”，历数其“受将帅之贿，边防弛备”、“受诸王馈赠，干预宗室事务”、“揽御史之权，败坏政纪”、“嫉贤妒能”等罪状。世宗不但未将严嵩治罪，还认为这是沈炼诋毁大臣，下诏将沈炼廷杖、谪官。严氏父子并不罢休，几年后，指使党羽寻机陷害，沈炼被斩，他的三个儿子，两个被打死，一个被发配到边疆。
被誉为明代第一直谏之臣的杨继盛也是因弹劾严嵩而获罪。嘉靖三十二年(1553)，时任兵部员外郎的杨继盛上《请诛贼臣疏》，弹劾严嵩“坏祖宗之成法”、“窃皇上之大权”、“误军国之机”等十大罪状、五大奸宄 (ɡuǐ)，揭露严嵩祸国殃民的真实面目。在奏章的最后，杨继盛恳求皇帝“听臣之言，察嵩之奸”。疏中所奏严嵩的罪状，严嵩无法抵赖，但严嵩毕竟老谋深算，他抓住杨继盛疏中“或问二王(裕王、景王)，令其面陈嵩恶”这句话，诬陷杨继盛与二王串通。刚愎自用的世宗最忌讳大臣们越过他和自己的儿子们结交，生怕因此而产生逼宫，遂不问疏中揭发严嵩的罪状是否属实，就降旨将杨继盛逮捕入狱。在下狱两年多后，杨继盛于嘉靖三十四年(1555)被处决。行刑前，杨继盛从容赋诗：
浩气还太虚，丹心照万古。
生前未了事，留与后人补。
严氏父子再次侥幸逃脱，但是他们身边早已危机四伏了。
世宗的荒诞、自大、残忍和喜欢玩弄权术，使得他的行事无法用正常的逻辑来解释。严嵩的仕途生涯与世宗紧紧相连，他的荣辱兴衰都决定在皇帝一个人的手里。严嵩入阁二十一年，任首辅十五年，除了杨士奇，有明一代，无人能及。严氏父子奸险误国，早就成为众矢之的，但是世宗却无动于衷。那么，严嵩究竟是怎么垮台的呢？原来，世宗下决心除去严氏父子，还是阴谋和权术共同作用所产生的结果。
嘉靖四十年(1561)，严嵩的妻子欧阳氏去世，严世蕃按旧时礼制应回乡守制三年，虽然皇帝应严嵩的奏请，准许严世蕃留京，但他在居丧期间已不能代父入值票拟。严嵩此时已有八十余岁，老朽昏聩，他所作的票拟往往言语不清，前后矛盾，他所进献的青词也都是别人代写，这些多不称世宗的心意，遂对严嵩渐渐心生不满，后来又听说严世蕃贪虐淫纵，对其父子更感厌恶。
这时，严嵩可谓是祸不单行，自己不得皇帝的欢心不说，还与时任次辅的徐阶发生了渐趋白热化的斗争。徐阶是一个聪明而又有权略的人，他感觉到世宗对严嵩态度的微妙转变，就买通了世宗很信任的一个名叫蓝道行的道士。蓝道行在扶乩的时候，显现出“分宜父子，奸险弄权”的字样，世宗问：“上天为何不诛杀他呢?”蓝道行诡称：“留待皇帝正法。”世宗心有所动。就在这一年，皇帝居住的万寿宫发生一场大火，皇帝不知以后怎么办，向大臣询问，严嵩竟建议皇帝搬到南宫去住。南宫是旧时英宗被幽锢之所，这对喜欢祥瑞的世宗来讲，真是犯了大忌讳。徐阶迎合皇帝心意，主张重建万寿宫，没多久，新宫拔地而起，比先前更巍峨漂亮。这样，徐阶在世宗心目中的地位渐有取代严嵩之势。这件事成了严嵩晚年命运的转折点。
严嵩失宠，御史邹应龙闻风而动，上疏弹劾严嵩。嘉靖四十一年(1562)，在徐阶的怂恿下，皇帝夺去严嵩一切官职，勒令回乡，严世蕃谪戍雷州卫。严世蕃在谪戍雷州中途跑回江西老家，本性难移，继续作恶多端。嘉靖四十三年(1564)，他又被御史弹劾。世宗大怒，将严世蕃逮捕下狱。第二年案结，世蕃被斩，严嵩被削籍为民，家产尽抄。严嵩只得在祖坟旁搭一茅屋，寄食其中，晚景非常凄凉。嘉靖四十五年(1566)四月，一代奸臣严嵩在孤独和贫病交加中去世。他死时穷得买不起棺木，也没有吊唁者。临死前，严嵩艰难地写下“平生报国惟忠赤，身死从人说是非”，掷笔而死。
当年的十二月，明世宗也龙驭宾天了。奸臣佐昏君，这一对君臣还真是“相得益彰”啊。二人同年而死，一个时代落幕了。
从严嵩临终的留言可以看到，他是带着无尽的委屈、不甘心和愤懑到了另一个世界的。《明史》称：“嵩窃政二十年，溺信恶子，流毒天下，人咸指目为奸臣。” 严嵩肯定想不到，他所背负的“奸臣”骂名不但没有因他的去世而消失，反倒广为流传，他的名字成为奸臣的代名词。与此有关，这里不得不提到一个明代有名的史学家——王世贞。
王世贞与严嵩结怨，传说有一段公案。王世贞的父亲就是被世宗处死的王忬。一个偶然的机会，王忬得到了价值连城的国宝《清明上河图》，不久就被严氏父子得知，二人就向王忬索要。王忬迫于严氏父子的权势，就让一个画师临摹了一张送给严嵩，后来事情败露，严嵩对其怀恨在心。后借王忬戍边不力下狱之机，严嵩上奏本将其害死。因为这段积怨，王世贞在他所写的《嘉靖以来首辅传-严嵩传》以及其他史着中，对严嵩多有诋毁，严嵩的声名就此更是一落千丈。
