G.O.S.S.I.P 安全学术会议排行榜（2021版）
===

2022年新年伊始，我们连续第三年发布安全学术会议排行榜了！首先让我们回顾一下过去两届排行榜：

- [2019：ACM CCS勇夺第一，ACM-SACMAT不幸垫底](https://feysh.com/ranking/2019/ranking.html)
- [2020：IEEE S&P来到榜首，ACM CCS和USENIX Security分列二三](https://feysh.com/ranking/2020/ranking.html)

今年，G.O.S.S.I.P小组的**X5tar**和**Neorah**和一位神秘分析师一起，统计了2021年全年安全学术会议的情况，并对排名方法进行了大幅度更新，发布了2021版的安全学术会议排行榜。


和去年相比，今年的排名我们首先基于如下一些客观事实：

1. **程序委员会学术活跃度**：我们认为，一个安全学术会议的程序委员会的成员，其自身的研究能力非常重要，因此我们参考了[Top Authors, the Systems Circus](https://nebelwelt.net/pubstats/top-authors-sys_sec.html)上安全研究人员发表顶级会议论文的数目，计算出了每个参与统计的会议，其程序委员会成员人均发表顶会论文数目的多少，借此反映程序委员会在安全研究领域学术活跃的程度。
2. **论文投稿数和录用数**：这两项指标客观反映了学术会议的规模和活跃度；

在这些客观数据的支持下，我们同往年相比，扩大了对安全学术会议的评估，一共对26个安全学术会议进行了统计，它们是：

> IEEE S&P、NDSS、USENIX Security、ACM CCS、ACM AsiaCCS、ACSAC、RAID、PETS、ACM WiSec、EuroS&P、ESORICS、DIMVA、ACNS、DSN、CANS、ACM-CODASPY、ICICS、ACM-SACMAT、ISC、Securecomm、Inscrypt、ISPEC、NSS、SRDS、Trustcom、IFIP-sec

具体统计数据

| 会议名称        | 投稿数目 | 录用数目 | PC人数 |
| --------------- | -------- | -------- | ------ |
| IEEE S&P        | 952      | 115      | 132    |
| NDSS            | 573      | 87       | 87     |
| USENIX Security | 1316     | 246      | 285    |
| ACM CCS         | 879      | 196      | 228    |
| ACM AsiaCCS     | 370      | 70       | 109    |
| ACSAC           | 326      | 80       | 92     |
| RAID            | 138      | 32       | 56     |
| PETS            | 436      | 82       | 109    |
| ACM WiSec       | 121      | 27       | 54     |
| EuroS&P         | 124      | 40       | 53     |
| ESORICS         | 351      | 71       | 185    |
| DIMVA           | 65       | 18       | 39     |
| ACNS            | 186      | 37       | 69     |
| DSN             | 295      | 48       | 82     |
| CANS            | 86       | 28       | 30     |
| ACM-CODASPY     | 106      | 26       | 62     |
| ICICS           | 202      | 49       | 146    |
| ACM-SACMAT      | 42       | 12       | 31     |
| ISC             | 87       | 21       | 53     |
| Securecomm      | 126      | 43       | 93     |
| Inscrypt        | 81       | 28       | 58     |
| ISPEC           | 94       | 24       | 80     |
| NSS             | 62       | 16       | 60     |
| SRDS            | 106      | 25       | 55     |
| Trustcom        | 503      | 141      | 332    |
| IFIP-sec        | 112      | 28       | 128    |

接下来，我们逐步为大家介绍这些安全会议的各项排名，最后给出我们的总排名

## 程序委员会学术活跃度排名

在这一项指标中，我们很明显可以看到，传统四大顶会的PC在发表顶会论文的平均水平上非常之高：IEEE S&P作为最老牌的安全旗舰会议，在这项指标上以人均发表10.85篇顶会论文独占鳌头，而NDSS则以微弱劣势屈居第二

| 会议            | PC人均顶会数目 |
| --------------- | -------------- |
| IEEE S&P        | 10.85          |
| NDSS            | 10.61          |
| USENIX Security | 8.48           |
| ACM CCS         | 7.88           |
| RAID            | 7.8            |
| ACM AsiaCCS     | 7.51           |
| ACSAC           | 6.23           |
| ACM WiSec       | 5.7            |
| DIMVA           | 5.31           |
| PETS            | 4.39           |
| ESORICS         | 4.38           |
| EuroS&P         | 4.15           |
| ACM-SACMAT      | 3.29           |
| ICICS           | 3.25           |
| ACNS            | 3              |
| ACM-CODASPY     | 2.65           |
| ISC             | 2.1            |
| Securecomm      | 2.09           |
| DSN             | 1.83           |
| Inscrypt        | 1.74           |
| CANS            | 1.67           |
| NSS             | 0.85           |
| ISPEC           | 0.76           |
| IFIP-sec        | 0.59           |
| SRDS            | 0.38           |
| Trustcom        | 0.36           |


## 录用论文认可度排名

我们在今年新引入了“录用论文认可度”这项指标，具体地，我们认为一个学术会议，其录用的论文数目和程序委员会规模应该相当，也就是说，用录用论文数目除以程序委员会的人数，结果数值越大，说明该会议的审稿人和投稿人的研究水平更为相当，也就是说，如果一个学术会议为了追求高录用率而一味拒稿，那在我们的排行榜上会得到低分（我们拒绝“超短裙”的出现）！当然，我们统计时，用录用论文数目除以程序委员会的人数，再乘以程序委员会的人均顶会论文数目，进一步考虑审稿人的水平。举个简单的例子，在2021年的IEEE S&P会议上，一共有132名PC（人均顶会数目10.84），而录用论文数是115篇，所以我们认为每篇论文平均得到了10.84 * 115 / 132的认可度。

在这项指标中，我们发现，NDSS中的录用论文获得了最高的认可度（唯一超过10），接下来是IEEE S&P和USENIX Security，同时我们注意到像ESORICS和DSN这样的CCF-B类安全会议，在这项指标上不尽如人意，排名比许多CCF-C类安全会议甚至无级别会议要差

| 会议            | 录用论文认可度 |
| --------------- | -------------- |
| NDSS            | 10.61          |
| IEEE S&P        | 9.452651515    |
| USENIX Security | 7.319578947    |
| ACM CCS         | 6.774035088    |
| ACSAC           | 5.417391304    |
| ACM AsiaCCS     | 4.82293578     |
| RAID            | 4.457142857    |
| PETS            | 3.302568807    |
| EuroS&P         | 3.132075472    |
| ACM WiSec       | 2.85           |
| DIMVA           | 2.450769231    |
| ESORICS         | 1.680972973    |
| ACNS            | 1.608695652    |
| CANS            | 1.558666667    |
| ACM-SACMAT      | 1.273548387    |
| ACM-CODASPY     | 1.111290323    |
| ICICS           | 1.090753425    |
| DSN             | 1.071219512    |
| Securecomm      | 0.966344086    |
| Inscrypt        | 0.84           |
| ISC             | 0.832075472    |
| ISPEC           | 0.228          |
| NSS             | 0.226666667    |
| SRDS            | 0.172727273    |
| Trustcom        | 0.152891566    |
| IFIP-sec        | 0.1290625      |


## 论文录用难度

很多人会用论文录用率去评估一个会议的论文录用难度，这样的衡量指标固然反映了问题，但是我们指出，除了关注录用率本身，我们也应该关注程序委员会学术活跃度，以表明投稿论文是否真正受到了安全研究社区的青睐。因此，我们用程序委员会的人均顶会论文数目除以该会议的论文录用率，来衡量该会议的论文录用难度（录用率低，表示录用难度大，如果是同样的录用率，程序委员会的学术活跃度越高，说明录用论文更为受到安全社区的关注）

我们发现，在这项指标上，传统的四大安全会议独占前四的格局被打破了！ACM AsiaCCS取代了ACM CCS，进入前四，这也说明ACM AsiaCCS在拥有一个高质量的程序委员会的同时，录用难度也是相关可观的！像ACM WiSec和DIMVA这类的CCF-C类会议，其实录用难度并不低，也侧面说明它们录用的论文质量还是相当不错的。至于传统的CCF-C类会议Trustcom，在这项指标上敬陪末座……

| 会议            | 论文录用难度 |
| --------------- | ------------ |
| IEEE S&P        | 89.81913043  |
| NDSS            | 69.87965517  |
| USENIX Security | 45.36455285  |
| ACM AsiaCCS     | 39.69571429  |
| ACM CCS         | 35.33938776  |
| RAID            | 33.6375      |
| ACM WiSec       | 25.54444444  |
| ACSAC           | 25.38725     |
| PETS            | 23.34195122  |
| ESORICS         | 21.65323944  |
| DIMVA           | 19.175       |
| ACNS            | 15.08108108  |
| ICICS           | 13.39795918  |
| EuroS&P         | 12.865       |
| ACM-SACMAT      | 11.515       |
| DSN             | 11.246875    |
| ACM-CODASPY     | 10.80384615  |
| ISC             | 8.7          |
| Securecomm      | 6.124186047  |
| CANS            | 5.129285714  |
| Inscrypt        | 5.033571429  |
| NSS             | 3.29375      |
| ISPEC           | 2.976666667  |
| IFIP-sec        | 2.36         |
| SRDS            | 1.6112       |
| Trustcom        | 1.284255319  |


## 综合排名

今年我们决定在综合排名上进行大胆改革，我们引入了一项和社交网络相关的指标来为入围的26个会议进行最终排名：通过将投稿数目除以程序委员会人数，再乘以程序委员会的人均顶会论文数目，计算出一个会议的“学术社群热力度”。这项指标可以这样理解，即程序委员会本身的学术质量自然是越高越好，在此基础上，每个程序委员会成员平均能够吸引到的投稿数目越多，说明该会议在整个安全学术社区的影响力越大，也越有可能吸收到最好的研究成果。

通过此项数据分析，最后我们将安全学术会议分为了甲乙两组，甲组选择了12家安全会议，剩余14家安全会议进入乙组。首先来看看甲组的12家会议是谁：

| 会议            | 学术社群热力度 |
| --------------- | -------------- |
| IEEE S&P        | 78.25151515    |
| NDSS            | 69.87965517    |
| USENIX Security | 39.15677193    |
| ACM CCS         | 30.37947368    |
| ACM AsiaCCS     | 25.49266055    |
| ACSAC           | 22.07586957    |
| RAID            | 19.22142857    |
| PETS            | 17.56          |
| ACM WiSec       | 12.77222222    |
| EuroS&P         | 9.709433962    |
| ESORICS         | 8.310162162    |
| DIMVA           | 8.85           |

可以看到，在甲组中，尽管传统四强依然是传统四强，但四家之间的差别很明显：IEEE S&P雄踞榜首，NDSS紧随其后且分数大幅领先身后的USENIX Security，而四强中的末席——ACM CCS同其身后的追赶者——ACM AsiaCCS之间的差距已经很小了。同时，我们经过最近两年的分析，完全可以得出这样的结论，传统意义上的“四小安全会议”（即ACSAC、RAID、DSN和ESORICS）已经可以更新了，我们认为ACSAC、RAID、PETS和ACM AsiaCCS更为配得上“四小安全会议”这一称号！同时，DIMVA、EuroS&P ACM WiSec这几个（规模和研究方向上）小众的安全会议，其质量完全不亚于一些老牌会议，强烈推荐大家阅读它们的录用论文！

再来看看乙组的排名：

| 会议        | 学术社群热力度 |
| ----------- | -------------- |
| ACNS        | 8.086956522    |
| DSN         | 6.583536585    |
| CANS        | 4.787333333    |
| ACM-CODASPY | 4.530645161    |
| ICICS       | 4.496575342    |
| ACM-SACMAT  | 4.457419355    |
| ISC         | 3.447169811    |
| Securecomm  | 2.831612903    |
| Inscrypt    | 2.43           |
| ISPEC       | 0.893          |
| NSS         | 0.878333333    |
| SRDS        | 0.732363636    |
| Trustcom    | 0.545421687    |
| IFIP-sec    | 0.51625        |

在乙组中，过去两年表现不佳的老牌安全会议DSN依然雄风不再，即使在本组中作为唯一一家CCF-B类会议，也没能排名第一；而CANS和ACM-CODASPY作为没有被CCF列入会议列表的安全会议，其表现非常突出。相比而言，CCF会议列表中的Trustcom和IFIP-sec则表现十分糟糕，在我们的排名榜单上位居末尾。

## 写在最后

经过了2019和2020的统计，我们在2021年大幅度更换排名的评价机制，究竟是否合理，相信各位读者也是见仁见智。欢迎大家给我们留言来讨论（吐槽）我们的排名。最后，**祝大家在2022年阅读更高水平论文的同时，也能够发表更多好论文**！