2004年8月中旬，洪學智、劉華清、楊白冰等老將軍在一次中央組織生活會上，提出江澤民應在四中全會辭去中央軍委主席職務的建議，得到了上屆政治局委員、中央軍委副主席遲浩田、中央軍委委員王克、王瑞林等的支持。老將軍們的看法由中辦轉至中央委員和候補中央委員。有四十多名中央委員、候補中央委員進行回應，致信政治局，認為江澤民全退的時候到了。
2004年8月下旬，江澤民在北京西山的中央組織生活會議上當面批評胡溫，指責胡溫的宏觀調控嚴重影響經濟增長，還說如果再引起社會動亂，胡溫要負歷史責任。
但胡這一次沒有買江的帳，反而據理力爭，同時抬出喬石和萬里等黨內元老壓制江澤民的氣焰。這樣，西山會議成了胡溫和江澤民攤牌的會議。
老將軍的「逼宮」和胡溫的不買賬，讓江澤民一時無法收場。江因此在會上假惺惺表示可以隨時退下，決不戀棧，請政治局常委會決定。江在政治局常委會安插了很多自己的人，江相信此舉沒有太大風險。
中央政治局常委開會研究後，決定不討論江退下的問題--這正符合江的真實意思。江知道後大為興奮，認為自己還是大權在握，有點飄飄然，決定把姿態做得更高一些。
9月1日，江澤民給中央政治局發了一封信，信中強調自己經過「慎重考慮」，提出請辭中央軍委主席。江澤民的真實想法不過是想擺個姿態，平息別人對他貪權的指責，並不是真心想交權。他相信自己提拔的人最後會「挽留」他，然後他就可以再度上馬，名正言順地繼續垂簾聽政。但這一消息很快就被另一派人馬透露到海外，9月6日《紐約時報》就透露了江自己請辭的消息。江的處境非常被動。
據知情人透露，當江綿恆知道江已遞上辭職信後，臉色頓時變得灰暗，半天說不出話來。半晌，他責問父親這麼大的事為什麼不和他商量。江綿恆說，如果江澤民不辭職誰也不好提，但江一辭職別人一定順坡下。隨後，他忍不住大罵江身邊的人沒有勸阻。
江澤民聽完後也兩腿發軟，慌張不已。在那半個月裡，江每天都在不眠中煎熬，要求手下幾個親信死死頂住，並隨時把最新動態告訴他。
9月初，江派居多數的中央政治局常委會正式討論江澤民的請辭信，內部出現分歧。最後的決定是原則上接受江辭去中央軍委主席職務，但鑒於當前形勢需要，請江留任到2005年年底。
按照慣例，政治局常委會的意見要交政治局討論，並徵求老同志和上屆政治局常委的意見。除中共十五屆政治局常委會常委朱鎔基、李嵐清「不表示意見」外，李瑞環、尉健行、李鵬均順勢表示要「尊重」江的要求，支持他退下。中共元老萬里、喬石、宋平、谷牧等也表態「尊重」江的決定。
在四中全會召開前五天，政治局連續討論江的去留問題。會上，個人利益和江澤民緊密相連的幾個人要求江澤民留任至2005年，所持理由是台海形勢險惡，江留任可以為胡分挑擔子，云云。
當中央政治局常委會把徵集來的促江澤民下臺的元老和上屆政治局常委的意見發至中央委員、中央軍委委員時，江已無力回天。
9月13日，中央政治局召開了擴大會議，中央軍委委員出席參加了討論。會上，被江親手提拔起來的中央軍委委員徐才厚、梁光烈、廖錫龍、李繼耐等紛紛表態，支持江澤民提出的「請辭」。
9月14日，離四中全會召開還有一天時間，政治局討論江澤民去留的會議，從下午一直開到晚上近十一時才結束，最後決定江下臺。江澤民的攝政曾慶紅一看風頭不對，也贊成江下臺。
江澤民在最後幾天指示說，萬一自己必須退下，應盡量讓江系人馬掌握更多實權。在9月14日的中央政治局會議上，江系人馬提議增補曾慶紅為中央軍委副主席以及增補廣東省委書記張德江、上海市委書記陳良宇為中央書記處書記，但兩項議案均未通過。
江澤民交出軍委主席的職務，是江全面退出歷史舞臺的開始。儘管江不再頻頻出現在電視上，但是他所留下的諸多問題和犯下的罪行，卻不可能一筆勾銷。
