在定调子的八月五日，陶铸以老战友的身份给黄克诚写了一封信，这封信代表了当时绝大多数的高级领导人的思想水平，陶铸信中说道：“你我(指的是黄和他)都是读了一些所谓圣贤之书的人，一个人立身于世不讲究一些操守是很可悲的，尤其我们作为一名党员，对于党的忠诚等于旧社会一个女人嫁给了人一样，一定要从一而终，决不可移情别恋，否则就不能称之为 ‘贞洁’。”陶铸后面直接劝说黄克诚就军事俱乐部问题向中央妥协，按照中央的意思办。黄克诚最后回忆说：“一生最难过的就是在那个文件上签了自己的名字，好难签啊。”
张闻天的秘书萧杨同志回忆张闻天后来独自一人坐车到牯岭镇的山中，默默的坐了很长时间。彭德怀的夫人浦安修本来彭总没有同意她上山，可是后来浦说从来没有来过庐山，怕是这次错过了以后就没机会了，彭就同意了，哪知道浦安修一上山就知道彭德怀犯了“天大的错误”，连风景也没看，直接跑到杨尚昆和帅孟奇那里去了。杨尚昆虽然不满庐山的气氛，可也是不敢胡言乱语的，只好说了些其他的话来安慰浦。这时候，像杨尚昆这个级别的干部已经知道彭德怀是大难临头了。
八届八中全会开完之后，毛泽东说政治处理从严，组织处理从宽，彭黄张周四人的政治局委员、候补委员都保留，具体职务没有了，会上通过的决议号召和彭等人作斗争，口号喊的天响。彭德怀从会场出来，没有一个人和说过一句话，毛泽东尽管表示还要继续帮助彭，可是大家都已经看的十分的明白了，彭的政治生命已经结束了。毛泽东鼓动人们不要怕沾了彭德怀的边，也是应者寥寥，值的一提的是张爱萍同志，彭德怀从庐山飞回北京的飞机上除了自己的妻子、秘书、参谋以外，再无一人愿意和彭同机，有的人宁可晚回北京也要等下一班，只有张爱萍一人表示不在乎，于是飞机上始终就是彭德怀和张爱萍两位领导人，飞机到济南临时停靠，张爱萍办事另走，彭德怀在济南宾馆吃饭，其他饭桌上人气十足，只有彭德怀这个饭桌上唯彭一人，没有任何人过来和彭说一句话，哪怕是不必要的寒暄。
八月十九日，毛泽东布置给吴冷西、陈伯达、胡乔木的任务是开足火力反击彭黄张周，在报纸上彻底的批臭他们的观点，而第二天张闻天还书生气十足的给毛泽东写信要求和毛泽东谈一谈，毛泽东把信批发给与会者，便再无回音了。
八月十八日，庐山的会议没有结束，林彪就给北京的军委留守大员们打招呼，要开一个规模庞大的军委扩大会议，大军区领导除了留一人看家外，必须全部参加，省军区、野战军、军一级的全部参加，西藏、新疆正在防御敌人，不过也要派一个部队的一把手参加，至少政委要来。这样会议组织到最后有了508人参加，是建国以来最大规模的军委扩大会议(也是目前为止绝后的)，林彪给贺龙、萧华、罗瑞卿等人传达的口信就是：“彻底批臭彭德怀、完全肃清彭在军队的影响。” 这一指示和毛泽东此前的交待是基本符合的。
军委扩大会议从8.18日到9.12日结束，几乎开了一个月，先是十四个组，后来编成两个组，集中批斗，语言和手脚并用，九月五日开始揪出了洪学智、万毅、钟伟、邓华，林彪在庐山讲话说：“我反复想了一晚上，睡不着，邓华留在军队我不放心。”邓华因为受了这个关照，结局自然好不了，钟伟因为300两黄金和处死叛徒的事情和吴法宪、罗瑞卿几乎骂了起来，罗瑞卿不承认自己当初说的话，钟伟就骂他“孬种”，被组织会议的萧华等人暂时给“请”了出去。洪学智表态说不能一概而论，话音未落，就受到围攻，说他是彭的黑干将。
彭德怀被逼不过，气愤的说：“把我拉出去枪毙好了，你们哪一个是俱乐部的成员，自己报名来。”萧华、张宗逊揭发彭德怀和赫鲁晓夫的勾结问题，在庐山已经被毛泽东点名了，这次再度提出，彭德怀在阿尔巴尼亚确实和赫鲁晓夫见过面，时间是一九五九年五月二十九日、三十日下午和晚上，不过当时不仅彭在场，几乎所有的军事代表团成员都在场，还有翻译，彭德怀申辩说自己根本不懂外语，怎么和赫鲁晓夫内外勾结，但是没有人回应。九月十二日，彭德怀被迫写出了正式的检讨，毛泽东“高度”赞扬了这个检讨，他说：我热烈的欢迎彭德怀这封信，他的态度是诚恳的。八月二十二日，黄克诚在妻子唐棣华以“离婚”相要挟的情况之下也写出了检讨，然而这次军委会议上黄没有受到比庐山更为严厉的批判。九月十二日，在毛泽东欢迎彭德怀信的同时，中央通过决议，正式称呼彭德怀为“伪君子、野心家、阴谋家” 三个副词之前一律加上十足的字眼，这是林彪在庐山给彭戴的帽子，除了冯玉祥一词外，其他的完全引用，《中共中央军事委员会扩大会议决议》给彭德怀做的决议直到八十年代才被推翻。
批判彭德怀最厉害的几个人林彪、贺龙、罗瑞卿、萧华、谭政都受到了不同程度的表扬，九月二十六日，中央改组军委组成人员，林彪为第一副主席，主持全面工作。贺龙任第二副主席(常务副主席)，谭政、罗瑞卿再度被选为常委。而洪学智、钟伟、邓华、万毅四人都被下放，他们被称之为小“彭黄张周”。
一九五九年九月三十日，彭德怀交还了元帅礼服、勋章等，离开中南海永福堂，搬到颐和园东约二里的挂甲屯吴家花园居住。杨尚昆被毛泽东嘱咐要经常看望彭德怀的生活。根据中央和毛泽东的指示，彭德怀被安排在中央党校学习，十月一日，庆祝国庆十周年的典礼上出现了庐山会议的胜利者之一的林彪的身影，就此代替彭德怀主持军委日常工作长达十年之久。
彭德怀通过一段的学习之后，写成了五万多字的读书笔记，里面用大量的事实阐述了大跃进的错误和影响，彭德怀预言“宁左勿右”的方针必将把中国引向一个非常严重的局面上去。一九六一年，八届九中全会上毛泽东被迫接受陈云等人的建议，提出调整的方针，彭德怀以为自己有希望复出，就给毛泽东写信，回到湖南做农村调研工作，毛泽东表示同意，年底彭德怀回来交上调查报告，哪里想到当时的中央正在紧锣密鼓的成立彭德怀专案审查委员会。一九六二年一月二十七日，刘少奇在七千人大会上说彭德怀给毛泽东写信本身没有什么大不了的，一个政治局委员向中央主席反映问题是正常的，彭的问题是两点，一个是主席说的彭高合流，他是高饶集团的漏网之鱼，二个是同志们揭发的彭里通外国，有国际背景。所以，所有人都能平反，彭德怀不能平反。这时身边的毛泽东插话定了调子：“里通外国什么时候也不能平反，彭是搞颠覆的。”根据彭的身边工作人员回忆，彭看到这个决议之后，放声大哭，手脚冰凉。二月一日开始到六月结束，彭德怀气愤难平写就了著名的万言书给毛泽东、刘少奇、林彪等中央常委，万言书长达82000字，历时四个多月，是中共著名和重要的文献之一，它集中阐述了彭德怀同志的政治观点和思想，批驳了加在他身上的所谓的彭高联盟和里通外国等无中生有的罪名，八月二十二日，彭德怀再次给毛泽东上书，称：“如果审查出我有里通外国、颠覆中国的企图，可以受到任何党纪国法的严惩，绝不怨恨。”而此前，毛泽东在八月五日视察武汉时，和陶铸、张平化、王任重等人谈话时指出：“彭德怀这个人我比较清楚，那是不能给他平反的，这是个铁案。”彭德怀上书不久，毛泽东批示：翻案。中央于是根据毛泽东的指示精神成立彭德怀专案审查委员会，主任为贺龙。专案审查委员会给彭德怀定的调子是：资产阶级军事路线中国代理人和篡党篡军的头子。彭德怀从此失去人身自由，直到他病故为止，期间长达十二年的屈辱的生活，令人无法以言语表述。
一九六五年九月，《彭德怀专案审查报告》第五稿出来后，毛泽东忽然让人把彭德怀找到中南海，请彭出任三线建设委员会副主任，并且说了诸如真理也许在你的一边等话语，让彭德怀倍感亲切，以为自己万言书起了作用，毛泽东还对彭说将来打仗还可以带兵借以恢复名誉等，彭很高兴。然而事实的真相是，一九六五年三月，美国出兵南越，中央做了支持越南的决议，四月十二日，中央发出一切为了战备的指示，毛泽东认为彭德怀、习仲勋、黄克诚等人不宜留在北京，可以找一个可靠的地方把他们“管”起来。这就有了彭德怀这次的“流放”。
彭德怀一九六五年十一月三十日到达成都，十一月十日，姚文元在江青的指使下已经炮制出来了《评新编历史剧海瑞罢官》一文，把吴晗和彭德怀集中联系到了一起，目的在于打倒北京市委。彭德怀到达成都后，李井泉拒绝和他见面，此前几天彭真和李井泉打招呼，传达邓小平的指示，不准难为彭德怀同志，李井泉自然照办，然而还是没有见面。西南局规定彭德怀有关军工生产的工厂一律不得参观、介入、考察，出行必须有一名局长“陪同”，正如杨尚昆指出的那样“所谓的看护彭总的生活其实是监视他的起居。”不过因为邓小平的关照，所以，彭在四川期间并没有受到多大的为难。
一九六六年十二月二十七日，北航红旗的红卫兵在江青、戚本禹的指使之下，把彭德怀绑架到北京，中间除了周恩来通过卫戍区把彭以“看押”的名义保护七个月外(关于周恩来和彭德怀另外有文介绍)，彭德怀基本一直处在非人的待遇中，彭德怀多次被打，尽管如此他还异常的关注国家的生产建设，他给周恩来写的唯一的一封信中还是为了中国的镁矿出口生产问题，信中抬头第一句就是：“今天被打的狠了···”。彭德怀被关押期间，禁止任何人探视，黄永胜在贺龙被打倒之后亲自管理彭德怀的专案，一九七零年专案组判处彭德怀无期徒刑，开除党籍和党内外一切职务。看押彭德怀的工作人员回忆彭德怀后期因为直肠癌已经被割去了肛门，异常痛苦，他对自己说：“妈个×，疼得受不了，干脆死了算了。”彭德怀经常对战士说的几句话是：“警卫战士，疼得我一点办法也没有了，我实在忍受不了了，你帮我打一枪吧。”有一次彭德怀被打回来之后，说了他一生唯一的一次对毛泽东和党中央的牢骚话：“无缘无故地关了我这么多年，有谁来看过我一次，又有谁找我谈过一次话，我枪林弹雨中征战了一辈子，到如今落得这样一个下场，苍天啊！你真不长眼！”
彭德怀临死之前还在为自己辩护没有里通外国，在他被看押期间除了黄克诚和他见过一面外，就只有上将李聚奎给这位功勋卓著的元帅鞠过一个躬(李聚奎回忆到：“一个月后的一天，彭德怀的房间打开了。只见他侧着脸躺在推车上，被护理人员推出来。我忙走上前去，只见他对我轻摇了一下头，示意我不要说话，我也只好微微地向他鞠了一躬。”)，彭德怀临死之前说的两句话是“毛主席发展了马列主义。”“审查了我八年，也没有结论，我不搞阴谋诡计，这点我是清白的。”
公元一九七四年十一月二十九日，彭德怀同志与世长辞，终年七十六岁，骨灰盒上写的名字是“王川”。
黄克诚在回忆庐山会议时对毛泽东，他说了一段意味深长的话出来，黄说：“当时毛主席叫我临时上山开会是给彭德怀同志的反党集团凑班子，既然叫反党集团，总不能只有一个人，彭德怀搞反党集团，你们想想，没有黄克诚参加谁能相信？”(《彭德怀》第255页)如果再往深处想，黄克诚被安排在彭的隔壁居住，同是河东路176号，那么问题确实不那么简单了。
八届八中全会上本来有一个《关于撤销黄克诚同志中共中央书记处书记的决定》，然而被毛泽东扣住没有发出来，直到一九六二年十中全会上批判谭政时，才把这个决议发了出来，和谭政被撤职的一起发表的，以致于很多人以为组织处理黄克诚是在一九六二年而非一九五九年。
黄克诚在军委扩大会议上的待遇明显比彭强的多，林彪手下的干将没有几个人特殊的难为黄，除了吴法宪以外。(吴法宪这个人一贯作恶多端，现在还有人稀里糊涂的为他叫好，不知好在何处)一九六一年国庆节，黄克诚被通知上天安门观礼台，毛泽东见到黄之后主动招呼黄过来坐，问黄很多事，还说看了黄的来信，此前黄克诚被陶铸好心劝说给毛泽东写过一封悔过的信，毛泽东问黄还想不想回军队工作，黄说能不能出来工作、讲话，毛泽东表示可以，完全可以。黄克诚一念之差没有回应毛泽东让他回军队的事，反而表示要去做做调查研究，给领导做做参考，毛泽东同意了他的意见。
八届十中全会开幕之后，毛泽东还让黄克诚参加会议，会开了一半，黄克诚被通知回家，因为彭德怀的专案审查委员会开始工作了，而里面自然也有黄克诚的专案，一九六五年九月之前，没有给黄安排任何具体的工作，直到九月，杨尚昆、安子文找黄克诚谈话，让他去山西做副省长，走的很急，这时候杨尚昆也是自身难保，所以说了一些比较暗示性的话，黄还没有听出来。到了山西不久，文革爆发，黄克诚一开始很乐观，他以为文革是整的彭真等人没有他什么事，哪知道次年 (1967年)一月，他就被红卫兵抓到了北京，随后和彭德怀关押在一起，黄克诚和彭的感情很好，在太原期间还梦见了彭德怀，写了一首词：
久共患难自难忘。不思量，又思量；山水阻隔，无从话短长。两地关怀当一样，太行顶，峨嵋岗。犹得相逢在梦乡。宛当年，上战场；军号频吹，声震山河壮。富国强兵愿已偿，且共勉，莫忧伤。
