廖仲恺被刺后，牵涉该案的胡汉民、许崇智等老右派被排挤出广东。蒋介石认为，这时横挡在他前进道路上的障碍就只有中国共产党为代表的人民革命力量了。于是他就处心积虑地阴谋策划，寻找机会要对革命开刀。
1926年 2月，苏俄政治顾问鲍罗廷偕谭平山暂离广州，去了北方。鲍的职务由另一名苏联顾问季山嘉代理。季山嘉对蒋介石的阴谋反共心理有所察觉，对蒋的独裁擅权行为也很不满，他竭力拉拢时任国民政府主席的汪精卫对蒋介石进行抑制，这就加深了蒋介石的疑忌。蒋介石和季山嘉的关系越来越不协调。在这种情况下，一些孙文主义学会分子和右派骨干如王柏龄、伍朝枢、古应等乘机大肆散布谣言，说苏联顾问和中共要“倒蒋”，广州市面上出现了称蒋介石为“新军阀”的传单，这无异是火上加油。本来，蒋介石早有反共的思想基础，这时，他以为有了可以利用来发动政变的借口。于是在1926年3月20日，他就制造了一起骇人听闻的中山舰事件。这个事件是他尝试着对革命发动进攻的第一次突然袭击。
蒋介石为了发动对中国共产党的打击，除了玩弄阴谋，蒙蔽群众，骗取支持以外，事先还作了各种相应的准备。戴季陶的反共理论为他进行分裂排共作了思想舆论的准备；同时他自己则大抓了组织方面的准备。这主要是，他利用共产党人和国民党左派同西山会议派的斗争，竭力把自己装扮成孙中山的忠实信徒，与西山会议派作斗争的英雄，大捞政治资本，并且经过国民党第二次全国代表大会开始直接掌握国民党的领导权。他更利用任黄埔军校校长的职位，把军校作为结党营私之所。他利用军校内同乡、同学、师生等关系，把一些反动分子和右派学生安插在各个重要岗位上，特别是安插在武装部队中，以作为发动反革命政变时急需调用的力量。如他把亲信王柏龄先是安插在黄埔军校作教授部主任，后又调任第二十师师长；把刘峙安排为第一军第二师师长；吴铁城为广州市公安局长；把他的把兄弟欧阳格安逦
