G.O.S.S.I.P 安全学术会议排行榜（2021版）

2022年新年伊始，我们连续第三年发布安全学术会议排行榜了！首先让我们回顾一下过去两届排行榜：

• 2019：ACM CCS勇夺第一，ACM-SACMAT不幸垫底
• 2020：IEEE S&P来到榜首，ACM CCS和USENIX Security分列二三

今年，G.O.S.S.I.P小组的X5tar和Neorah和一位神秘分析师一起，统计了2021年全年安全学术会议的情况，并对排名方法进行了大幅度更新，发布了2021版的安全学术会议排行榜。

和去年相比，今年的排名我们首先基于如下一些客观事实：

1. 程序委员会学术活跃度：我们认为，一个安全学术会议的程序委员会的成员，其自身的研究能力非常重要，因此我们参考了Top Authors, the Systems Circus上安全研究人员发表顶级会议论文的数目，计算出了每个参与统计的会议，其程序委员会成员人均发表顶会论文数目的多少，借此反映程序委员会在安全研究领域学术活跃的程度。
2. 论文投稿数和录用数：这两项指标客观反映了学术会议的规模和活跃度；

在这些客观数据的支持下，我们同往年相比，扩大了对安全学术会议的评估，一共对26个安全学术会议进行了统计，它们是：

IEEE S&P、NDSS、USENIX Security、ACM CCS、ACM AsiaCCS、ACSAC、RAID、PETS、ACM WiSec、EuroS&P、ESORICS、DIMVA、ACNS、DSN、CANS、ACM-CODASPY、ICICS、ACM-SACMAT、ISC、Securecomm、Inscrypt、ISPEC、NSS、SRDS、Trustcom、IFIP-sec

具体统计数据

接下来，我们逐步为大家介绍这些安全会议的各项排名，最后给出我们的总排名

在这一项指标中，我们很明显可以看到，传统四大顶会的PC在发表顶会论文的平均水平上非常之高：IEEE S&P作为最老牌的安全旗舰会议，在这项指标上以人均发表10.85篇顶会论文独占鳌头，而NDSS则以微弱劣势屈居第二

我们在今年新引入了“录用论文认可度”这项指标，具体地，我们认为一个学术会议，其录用的论文数目和程序委员会规模应该相当，也就是说，用录用论文数目除以程序委员会的人数，结果数值越大，说明该会议的审稿人和投稿人的研究水平更为相当，也就是说，如果一个学术会议为了追求高录用率而一味拒稿，那在我们的排行榜上会得到低分（我们拒绝“超短裙”的出现）！当然，我们统计时，用录用论文数目除以程序委员会的人数，再乘以程序委员会的人均顶会论文数目，进一步考虑审稿人的水平。举个简单的例子，在2021年的IEEE S&P会议上，一共有132名PC（人均顶会数目10.84），而录用论文数是115篇，所以我们认为每篇论文平均得到了10.84 * 115 / 132的认可度。

在这项指标中，我们发现，NDSS中的录用论文获得了最高的认可度（唯一超过10），接下来是IEEE S&P和USENIX Security，同时我们注意到像ESORICS和DSN这样的CCF-B类安全会议，在这项指标上不尽如人意，排名比许多CCF-C类安全会议甚至无级别会议要差

很多人会用论文录用率去评估一个会议的论文录用难度，这样的衡量指标固然反映了问题，但是我们指出，除了关注录用率本身，我们也应该关注程序委员会学术活跃度，以表明投稿论文是否真正受到了安全研究社区的青睐。因此，我们用程序委员会的人均顶会论文数目除以该会议的论文录用率，来衡量该会议的论文录用难度（录用率低，表示录用难度大，如果是同样的录用率，程序委员会的学术活跃度越高，说明录用论文更为受到安全社区的关注）

我们发现，在这项指标上，传统的四大安全会议独占前四的格局被打破了！ACM AsiaCCS取代了ACM CCS，进入前四，这也说明ACM AsiaCCS在拥有一个高质量的程序委员会的同时，录用难度也是相关可观的！像ACM WiSec和DIMVA这类的CCF-C类会议，其实录用难度并不低，也侧面说明它们录用的论文质量还是相当不错的。至于传统的CCF-C类会议Trustcom，在这项指标上敬陪末座……

今年我们决定在综合排名上进行大胆改革，我们引入了一项和社交网络相关的指标来为入围的26个会议进行最终排名：通过将投稿数目除以程序委员会人数，再乘以程序委员会的人均顶会论文数目，计算出一个会议的“学术社群热力度”。这项指标可以这样理解，即程序委员会本身的学术质量自然是越高越好，在此基础上，每个程序委员会成员平均能够吸引到的投稿数目越多，说明该会议在整个安全学术社区的影响力越大，也越有可能吸收到最好的研究成果。

通过此项数据分析，最后我们将安全学术会议分为了甲乙两组，甲组选择了12家安全会议，剩余14家安全会议进入乙组。首先来看看甲组的12家会议是谁：

可以看到，在甲组中，尽管传统四强依然是传统四强，但四家之间的差别很明显：IEEE S&P雄踞榜首，NDSS紧随其后且分数大幅领先身后的USENIX Security，而四强中的末席——ACM CCS同其身后的追赶者——ACM AsiaCCS之间的差距已经很小了。同时，我们经过最近两年的分析，完全可以得出这样的结论，传统意义上的“四小安全会议”（即ACSAC、RAID、DSN和ESORICS）已经可以更新了，我们认为ACSAC、RAID、PETS和ACM AsiaCCS更为配得上“四小安全会议”这一称号！同时，DIMVA、EuroS&P ACM WiSec这几个（规模和研究方向上）小众的安全会议，其质量完全不亚于一些老牌会议，强烈推荐大家阅读它们的录用论文！

再来看看乙组的排名：

在乙组中，过去两年表现不佳的老牌安全会议DSN依然雄风不再，即使在本组中作为唯一一家CCF-B类会议，也没能排名第一；而CANS和ACM-CODASPY作为没有被CCF列入会议列表的安全会议，其表现非常突出。相比而言，CCF会议列表中的Trustcom和IFIP-sec则表现十分糟糕，在我们的排名榜单上位居末尾。

经过了2019和2020的统计，我们在2021年大幅度更换排名的评价机制，究竟是否合理，相信各位读者也是见仁见智。欢迎大家给我们留言来讨论（吐槽）我们的排名。最后，祝大家在2022年阅读更高水平论文的同时，也能够发表更多好论文！