中文技术报告：JADE：基于语言学变异的大模型靶向式安全评测平台

英文技术报告：JADE: A Linguistics-based Safety Evaluation Platform for Large Language Models

项目网站：https://whitzard-ai.github.io/jade.html

@ 复旦白泽智能

我们在此发布 JADE 生成的大模型靶向式安全评测数据集。

我们将原始的低触发率种子问题通过语言学变异自动转化为高危问题，构造出自然文本数据集。问题类型覆盖4大类（核心价值观、违法犯罪、侵犯权益和歧视偏见），合计30多小类。

• JADE DB v2.0 😊: 我们再次发布面向中文开源大模型生成的两款评测数据集JADE-DB-Easy和JADE-DB-Medium，各包含1000个通用测试问题，分别代表基础和进阶安全难度。
• JADE DB v1.0 👏: 我们将手工生成的数百个低触发率的种子问题自动转化为数千个高危问题，并从中选取了具有高跨模型迁移性的230个问题（包含150个中文问题和80个英文问题）作为开源数据集。

由于相关规定，涉及政治敏感的测试问题目前不包含在可下载的公开测试集中，如需评测，欢迎联系我们：张谧老师，潘旭东老师，杨珉老师。

声明：数据集包含有害违规内容示例，均不代表本团队立场。

更多demo示例，请移步https://whitzard-ai.github.io/jade-demo.html

如果我们的工作和数据集对您有帮助，欢迎引用我们的技术报告

@misc{zhang2023jade,
      title={JADE: A Linguistic-based Safety Evaluation Platform for LLM}, 
      author={Mi Zhang and Xudong Pan and Min Yang},
      year={2023},
      eprint={2311.00286},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}