FAQ

1、为什么感觉xast的测试样本集漏洞规则都比较少？
我们对应用安全测试产品的能力进行了分层，分成了底层的引擎能力和上层的规则能力。xast评价体系一期重点是对底层引擎能力进行评价，因此除了为测试引擎能力而引入的少数几个漏洞规则，一般不把漏洞规则作为评价项。

2、什么是引擎能力？
引擎能力是与规则能力相对应的一层能力，不同类型的应用安全测试产品，引擎能力的定义不同。对于SAST和IAST，引擎能力体现的是SAST/IAST对基础语言层面（如JDK）的支持能力。
简单的理解，引擎能力更偏低层，支持的难度和成本更高，后期用户很难自定义，需要用户重点关注。

3、为什么要引擎能力和规则能力分开评测？
对于应用安全测试产品来说，由于漏洞规则是和使用的框架紧密相关的，较难枚举，且一般产品都支持用户自定义，即使默认不支持，用户也可以以较低成本自定义配置。 引擎能力更偏低层，支持的难度和成本更高，后期用户很难自定义。 如果不分开进行评测，对于一个没有通过测试的case，用户很难分清到底是产品的底层引擎能力不足导致的，还是仅仅因为该规则没有定义导致的。

4、xast评价体系在技术上有什么亮点？与其他Benchmark有什么显著区别？
(1)业界首个评价体系驱动式Benchmark
(2)业界首个面向工具视角Benchmark
(3)评价体系分层设计，区分了引擎能力和规则能力，评价结果更合理
(4)“体检报告”式结果，细粒度可解释
(5)业界Benchmark交叉验证，确保完整性

5、如何确保评价体系的完整性？
一方面评价体系的设计确保了“正向”的完整性；另一方面，我们通过与业界Benchmark进行交叉验证，从“负向”确保了完整性

6、sast的靶场如何运行？
取决于您要测试的sast产品，如果是针对源码进行静态分析的产品，则不需要运行，直接使用sast对靶场进行静态分析即可。

7、如何查看测评结果？
我们正在制定统一的标准测试结果格式，每个被测产品需要把自己的结果输出成标准的测试结果格式，并且我们还将提供自动化脚本将测试结果统一归纳总结输出，这部分内容还在优化中，敬请期待

8、在哪里可以看到评价项？测试结果如何对应到评价项？
评价项可以参考doc目录下的评价体系文件；评价项与测试结果的对应暂时通过对应关系表或代码注释体现，我们将很快提供自动化的结果映射

9、后续是否会新增更多的语言？
欢迎联系我们，一起共建，为业界带来一些美好而微小的变化。

10、如何反馈issue或参与共建？
一般的问题，可以直接在github上提issue；如有case希望贡献，可以在github上提交merge request，社区的maintainers会定期进行响应。当然，您也可以直接进群咨询和交流。 详见参与贡献

11、如何保障评价体系项目的公允性？
考虑到xAST评价体系作为技术标准的特殊性，任何涉及评价项和代码的修改都不允许单个用户的独立操作，都需要提交merge request后，由项目maintainers投票确认后才能合并进项目。