继2003年7月1日香港五十万人游行反对香港二十三条立法案后，2004年，又有超过五十万的香港人在同一天举行了大游行，抗议北京当局否决他们争取普选的要求，要求进行政治改革。
在2003年香港爆发大游行后，中共中央政府不满香港行政长官董建华未能如期将二十三条立法，此后一方面刻意架空董的权力，并在香港政改上一直处于主导地位。这包括4月6日进行释法，将修改立法会及行政长官选举办法的启动权，交在行政长官手上；中国全国人大常委4月26日否决香港进行2007年行政长官和2008年立法会普选等。另一方面，企图以经济作为诱饵，让香港人放弃政治诉求。比如容许中国国内居民以个人游身份去香港消费，并以多项更紧密经贸关系措施让香港人在国人享有多种优惠或是接近国民待遇的政策。但令中共没有想到的是，中共的政策使香港市民与中央的矛盾凸显，而香港人并不愿意放弃更大民主的诉求，再次走上街头要求普选。
被中共逐渐抛弃的董建华，不仅要面对香港市民的不满情绪，还要面对被其昔日在港的盟友抛弃的局面。一向挺董的亲政府人士公开指称他为“三零特首”，即作为政治领袖应具备的政治理念、政治手腕和政治魅力，董建华在这三面的分数却是零；也有新中商界人士公开指他被中央架空。
香港再现“七一”大游行后，董建华应邀于7月7日同民主派立法会22名议员会面，商讨七一游行后的形势，以及重新向中央提交政改程式问题。董建华表示明白他们对普选的要求，但自认无权要求中央更改早前的决定，即2007和2008年的特首和立法会选举将不会有普选。
而七一当天，中共高层领导没有在香港庆祝回归中国七周年的仪式上露面，大陆外媒体对游行的报导在大陆也被切断信号。由于香港问题自去年七一后一直由江的亲信曾庆红处理，香港“七一大游行”不啻是对江氏人马的重大打击。江的权力继续受到挑战。
中国问题专栏作家凌锋说：“中共对付它的对手，如果不能‘坚决彻底干净全部’的消灭之，而必须谈判或对话的话，它的策略一向就是以强硬姿态向对手迫近九十九步，令对方感到毫无希望乃至窒息，然后退后一步，令对手感到中共的宽容、让步与善意，以致心甘情愿接受条件，乃至臣服。现在北京对香港，就是重演故伎。”
早在2003年5月至6月，港电台节目主持人郑经翰、黄毓民、李鹏飞相继被迫封嘴，香港民主派刘慧卿议员的办事处被纵火威胁。7月1日前夕，曾庆红在非洲向香港“释放善意”，随后又发生去南非请愿和起诉曾庆红的法轮功人员被枪手袭击，数人几乎车毁人亡。香港七一游行组织者网站被骇客入侵并发布伪消息改变游行日期。
同2003年不同之处在于，2003年游行的目标是借反对23条表达对港府不满，今年港人不满对象直指北京当局。分析家指，2004年以来中共对反对派人士的一系列恐怖威胁以及和中央对香港政治采取的缺乏理智的极端做法，虽然压制了一部份人，却更激化了香港矛盾，引发更大的反弹。
据美国之音分析报导，七一民主大游行在被外界称为“经济动物”的香港，已经形成了一个类似“六四”的定期化、定型化、持续化的民众聚会。“七一大游行”的品牌，在香港诞生。
西山逼宫，江“请辞”弄假成真
江及其人马2004年伊始就面临着诸多的挑战，让其焦头烂额。殊料8月中旬，洪学智、刘华清、杨白冰等老将军在中央组织生活会上，突然提出江应在四中全会上辞去中央军委主席职务的建议，得到了上届政治局委员、中央军委副主席迟浩田，中央军委委员王克、王瑞林等的支持。老将军们的看法由中办转至中央委员和候补中央委员。有四十多名中央委员、候补中央委员进行回应，致信政治局，认为江全退的时候到了。
8月下旬，江在北京西山的中央组织生活会议上当面批评胡温，指责胡温要对宏观调控负历史责任，说宏观调控严重影响经济增长，还说如果再引起社会动乱，胡温要负历史责任。但胡这一次没有买它的帐，反而据理力争，同时抬出乔石和万里等党内元老压制江的气焰。这样，西山会议成了胡温和江摊牌的会议。
老将军的“逼宫”和胡温的不买账，让江一时无法收场。江因此在会上假惺惺的表示可以随时退下，决不恋栈，请政治局常委会决定。江在政治局常委会安排了很多自己的人，江相信此举没有太大风险。果然，中央政治局常委开会研究后，决定不讨论江退下的问题。这正符合江的真实意思。江知道后大为兴奋，认为自己还是大权在握，有点飘飘然，决定把姿态做得更高一些。
9月1日，江给中央政治局发了一封信，信中强调自己经过“慎重考虑”，提出请辞中央军委主席。江的真实想法是想做个姿态，平息别人对其贪权的指责，并不是真心想交权。江相信自己提拔的人最后会“挽留”他，然后它就可以再度上马，名正言顺的继续垂廉听政。但这一消息很快就被另一派人马透露到海外。9月6日《纽约时报》就透露了江自己请辞的消息。江的处境非常被动。
据知情人透露，当江绵恒知道江已递上辞职信后，脸色顿时变得灰暗，半天说不出话来。半晌，他责问父亲这么大的事为什么不和他商量。江绵恒说，如果江不辞职谁也不好提，但江一辞职别人一定顺坡下。随后，他忍不住大骂江身边的人没有劝阻。江听完后也两腿发软，慌张不已。在那半个月里，江每天都在不眠中煎熬，要求手下几个亲信要死死顶住，并随时把最新动态告诉它。
9月初，江派居多数的中央政治局常委会正式讨论江的请辞信，内部出现分歧。最后的决定是原则上接受江辞去中央军委主席职务，但鉴于当前形势需要，请江留任到2005年年底。
按照惯例，政治局常委会的意见要交政治局讨论，并征求一些离休人员和上届政治局常委的意见。除中共十五届政治局常委会常委朱熔基、李岚清“不表示意见”外；李瑞环、尉健行、李鹏均顺势表示要“尊重”江的要求，支持其退下。中共元老万里、乔石、宋平、谷牧等也表态“尊重”江的决定。
距离四中全会还有五天，政治局连续讨论江的去留问题。会上，个人利益和江紧密相连的那几个人要求江留任至2005年，所持理由是台海形势险恶，江留任可以为胡分挑担子，云云。
当中央政治局常委会把征集来的促江下台的元老和上届政治局常委的意见发至中央委员、中央军委委员时，江已无力回天。
9月13日，中央政治局又召开了扩大会议，中央军委委员出席参加了讨论。会上，被江亲手提拔起来的中央军委委员徐才厚、梁光烈、廖锡龙、李继耐等纷纷表态，支持江提出的“请辞”。
9月14日，离四中全会还有一天时间，政治局讨论江去留的会议，从下午一直开到晚上近十一时才结束，最后决定江下台。江的军师曾庆红一看风头不对，也赞成江下台。
江在最后几天指示说，万一自己必须退下，应尽量让江系人马掌握更多实权。在9月14日的中央政治局会议上，江系人马提议增补曾庆红为中央军委副主席以及增补广东省委书记张德江、上海市委书记陈良宇为中央书记处书记，但两项议案均未通过。
9月19日四中全会最后一天，江被宣布下台。9月21日，为美国《纽约时报》工作的中国助理赵岩在上海休假时被逮捕带回北京。曾庆红把持的国安试图从他打开突破口，查找军方哪股力量在向海外透消息造舆论，使江假戏成真。
江交出军委主席的职务，是江全面退出历史舞台的开始。尽管江不再频频出现在电视上，但是其所留下的诸多问题和犯下的罪行，不可能一笔勾销。锲而不舍的法轮功学员仍在通过法律手段追究其责任，对江的最终的审判终要执行。
