自楊尚昆被整下臺後，江澤民很心虛，曾慶紅談了自己的看法，認為這老東西留著終歸是個麻煩，但鄧小平活著時不宜動手。
97年2月鄧小平去世後，92歲的楊尚昆身體並無大礙。他對江澤民在軍隊中亂提拔將軍、收買人心、打擊異己一直不滿，時常在老幹部聚會上數落江澤民。98年下半年的一天，在一次許多軍隊老幹部聚會上，楊尚昆又指責江澤民，並且說，現在這個軍委主席要再幹下去，軍隊就徹底毀了。曾慶紅到處佈置耳目，此話自然傳給了江澤民。
江澤民知道楊尚昆、楊白冰兄弟雖在中共十四大被奪去軍權，但是在軍隊中的影響力依然難以估計。江也知道自己進讒言把趙紫陽和楊尚昆踢下去、自己獨攬黨政軍大權的做法招致很多人的不滿和怨恨。如果這時，前軍委第一副主席和前國家主席楊尚昆真做個召集人討伐他，那江還真招架不了。雖然常有個薄一波給出出主意，但他畢竟不是軍人出身，沒有軍權，再則薄對胡耀邦落井下石的事，至今還讓不少人痛恨。
江澤民經過一番周密計畫，決定尋機除掉楊尚昆，以防後患。江澤民部署得很周密，但人算不如天算，這出陰謀後來還是露出了馬腳。2003年8月3日，新華社突然發出了一個奇怪的「新聞」，說的是1996年隆冬時節，在中南海勤政殿裡，時任中共中央總書記、國家主席、中央軍委主席的江澤民主持召開了一次特殊的小型會議。會議的主題是研究解放軍總醫院(301醫院)南樓病房溫濕度的改造。江說，解放軍總醫院溫濕度問題不是小問題，而是大問題，因為這裡住著許多戎馬一生的中共建政元勛，一定要「關心好」「照顧好」他們。
為什麼江澤民把解放軍總醫院視為「大問題」呢?因為江澤民和曾慶紅髮現了醫院在打擊異己中的妙用。中共的元老們大多都看不慣無德無能的「戲子」江澤民，又自恃功高，不把江澤民放在眼裡，在中共高層許多內部會議上批評、指責甚至圍攻江澤民，但是江拿他們毫無辦法。不過江澤民和曾慶紅看到了一點，就是人老了，總會有病，於是想到了醫院。一方面可以利用醫院照顧討好住院的元老，另一方面又把這些人的生死操控在自己的手中，在關鍵的時候發揮作用。
果然，江澤民特別「關心」的解放軍總醫院就被派上了用場。
1998秋，楊尚昆得了感冒，住進了完全被江澤民和曾慶紅控制的解放軍總醫院。楊尚昆住院不長時間，98年9月14日凌晨1時17分，在醫院突然去世。俗話說，要想人不知，除非己莫為。楊尚昆去世不久，民間盛傳，楊是被害死的。後來楊的家人要求中央調查楊尚昆的死因。
