就在基洛夫被暗杀的当天晚上，斯未经政治局同意，发出3条指令，其中指示司法机关不要考虑对犯死罪的人执行死刑可否赦免；一经判决立即执行死刑。列宁的老战友季诺维也夫、加米涅夫等被判处徒刑。从此秘密审判开创不祥先例，常常把党内不同意见上升到反党活动的高度，打成反党派别，赋于“阶段敌人”的含义。斯首先掀起舆论宣传工作，号召人民提高警惕，各地举行群众大会，号召采取革命行动，不断有“敌对中心”、“阴谋集团”和“恐怖集团”被揭发出来，开始随时抓人捕人。仅列宁格勒几个月就有三四万人被捕和流放，许多与基洛夫事件无关的人也受到牵连。后叶诺夫接替主管监察委员会，同时又有两人马林科夫、贝利亚进入掌权地位。在幕后还有最接近斯的波斯克烈贝舍夫，他掌握斯签名的橡皮图章，成立一个安全特别秘密政治处，正是这几个人在斯的命令下策划了大清洗。
1936年8月，进行了耸人听闻的16人审判，全国性的恐怖行动开始了。包括季、加等列宁的老战士全部作为党的叛徒被处决。9月26日，叶诺夫又被任命为内务人民委员，开始了更为残酷的恐怖运动，一直持续到1938年。1937年1月23日，莫斯科举行第二次表演性大审判，17名被告被说成是反苏托洛斯基中心的领导人，结果13人被处决，4人被判十年徒刑。审讯后不久，斯最老的同事朋友、曾向列宁谈起帮助斯首次选入中央委员会，并建立深厚革命友情的政治局委员奥尔忠尼启，由于家被搜查，与斯大吵一架，2月18日在家开枪自杀。据说他是唯一向斯提出反对内务人民委员活动的人，特别反对贝利亚，还为一些被捕的人说情。
1937年2月，斯在中央委员会会议上发表长篇讲话，谈到外国特务与托洛斯基分子己渗透到最高领导机关，命令为下至最基层、上至加盟共和国每一位党的领导人指派两名助手，开办训练班。斯的讲话受到与会者一致鼓掌喝彩。当布哈林、李可夫上台为自己辩解时，被会场上叫喊声哄下台。同时，阴云开始凝聚红军头上。5月1日，图哈切夫斯基还站在斯的旁边检阅游行队伍，可能成为斯的副司令。但在5月27日却莫明其妙被逮捕了。6月11日，他和其他7名将领受到秘密审讯，第二天8人全被处决。到1938年，有3.5万人成了牺牲品，占全军的半数。5名元帅中的3名，15名集团军司令级中的13名，85名军长级中的57名，196名师长级中的110名，406名旅长级中的220名，所有11名副军事人民委员，及及最高军委80名委员中的75名，上校级以下军官有3 万名被清洗了。
斯大林的个人崇拜达到高峰，全国96.6%选民投了斯的票。但这并未使斯停止清洗，1938年3月又一次对21人的审判，主要被告是布哈林、李可夫和克列斯廷斯基前3名政治局委员，其中11名被处极刑，其他人后来都死在监狱里。当斯肃反目的达到后，于7月真正煞车了。叶诺夫这个杀人刽子手过后不久也被处决了。
