胡耀邦下台的原因虽然复杂，但根本原因在于胡耀邦与邓小平在邓本人是否全退的问题上发生歧见。据《胡耀邦传》披露，1986年5月，邓小平约胡耀邦到家中谈论中共十三大人事安排。胡耀邦说：“我已年过70了，十三大一定要下来。”邓小平说：“我、陈云、先念都全下，你要下就半下，不再当总书记，而再当一届军委主席或国家主席，到时候再说。”
同年8月22日，邓小平过81岁生日，在北戴河摆了几桌酒席，表示在两年后的中共十三大上全退。胡耀邦信以为真。10月，他在政治局会议上公开表态，说“今天我就十分具体和坦白地讲，我赞成小平同志带头退下来，这是一个很好的带头。只要小平同志退，别的老同志的工作就好做。我的总书记任期满了，也下来，充分给年轻的同志让路。”
胡耀邦讲话后，邓小平没有任何表示，神情严峻。胡耀邦的讲话得到了人大委员长万里、中央书记处书记杨得志、人大副委员长聂荣臻、倪志福和国家副主席乌兰夫的赞同。中央书记处书记习仲勋还在会上发表了支持胡耀邦的讲话。
会上，王震被激怒，说：“你们实际上提出了一个问题，就是要不要权威，承认不承认小平是我们党的最高权威。”万里这时插话说：“王老啊，你不要激动。要小平同志掌舵，我没有意见。我只是想纠正一下，我们要树立权威，不是个人，而是集体。民主才是我们的最高权威。”事后，邓小平曾问万里：“耀邦为何偏要我下？”万里答：“可能是失言。”邓小平说：“要树自己。”万里说：“耀邦不是那种人。”
此后，胡耀邦的权力被削弱，失去了中共十三大的人事主导权。在他毫不知情的情况下，邓小平把人事权交给了中顾委副主任薄一波，安排由薄一波等7人组成的小组，分头征求党内对十三大的人事安排意见，尤其是对胡耀邦的意见。
同年12月，安徽中国科技大学开始的学潮蔓延到北京，为邓小平倒胡行动找到了藉口。 12月30日，胡耀邦打算召开政治局常委会，讨论中央书记处关于处理学潮的意见。邓小平不同意开会，并要胡耀邦到他指定的地点谈话。邓认为学生运动是“几年来反对资产阶级自由化思潮旗帜不鲜明、态度不坚决的结果”，并责问胡耀邦“你难道没有责任？”胡耀邦回答说：“我保留我的意见。”邓小平说：“不是保留，而是要你马上站出来，坚持四项基本原则，否则就放任了资产阶级自由化。”邓还说：“没有专政手段是不行的。对专政手段，不仅要讲，而且必要时要使用。”
翌年元月10日，中央顾问委员会副主任薄一波主持召开“政治局生活会”，胡耀邦在会上受到一帮老人的围攻。薄说：“胡耀邦整天到处乱跑，全国两千多个县，你都快跑遍了，你是党的主席、总书记中能跑的最高记录。这不叫指导工作，而是游山玩水，哗众取宠。”杨尚昆说：“胡耀邦，你如果想要亡党亡国的话，你就和资产阶级自由化分子结成联盟吧。”宋任穷说：“我最不能容忍的就是胡耀邦对待邓小平的态度。”会上，邓力群对胡耀邦作了长达五、六个小时的批判发言。
会上，薄一波、彭真要求胡耀邦辞职，王震表示：“薄一波、彭真代表了我们大多数的意见。”面对如此场面，习仲勋拍案而起，指着薄一波等人说：“你们这是干什么？这不是重演‘逼宫’吗？”胡耀邦没让习仲勋说完，就站起来劝说：“仲勋同志，我已考虑好了，不让我干，我就辞职。”
1月15日， “生活会”散后，胡耀邦出门坐在台阶上大哭。田纪云默默站在旁边，久久不愿离去。万里回到家也难抑心中不平，说：“耀邦没有错。”为了安慰他，万里叫厨师炖了一锅胡最喜欢吃的狗肉送到胡家。胡耀邦被迫辞去总书记职务后，回家对夫人李昭说：“我没有错，顾全大局，我只能辞职。”
是非公道自在人心。中共召开的十三大上，选中央委员时，胡耀邦得票1,800多票，差几十票就是全票。选政治局委员时，胡耀邦又高票当选，差7票是全票，未投票的包括他自己。而当初卖劲倒胡的邓力群和胡乔木，则在选举中因得票最少而落选。
