我要评论
前序研究：实战解读：llama 3 安全性对抗分析
近日，腾讯朱雀实验室又针对 llama 3.1 安全性做了进一步解读。
2024年7月23日晚，随着llama3.1的发布，meta正式提出了“llama系统”的概念，通过系统级的安全组件对ai系统进行更好的控制。值得关注的是，去年12月成立的“purple llama”项目又新增三大安全组件：llama guard 3 、 prompt guard、cyberseceval 3，旨在“保护生成式人工智能时代开放信任和安全”。
llama guard 3
llama guard 3 是 llama guard 2 的升级版本，用于协助开发人员检测各种常见类型的违规内容。它通过微调 meta-llama 3.1-8b 模型构建的方式进行优化，可以执行 mlcommons 标准危害分类法的检测。llama guard 3 共支持8种语言，相比 llama guard 2新增了意大利语、法语等7种语言，同时，其上下文窗口也由 8k 扩展到 128k 。
除此之外，llama guard 3 在检测网络攻击方面也进行了优化，并能防止 llm 输出的恶意代码通过代码解释器在 llama 系统的托管环境中执行。（这也是为代码解释器的应用场景新增了防护场景）
风险分类在参考mlcommons ai safety的基础上，从guard2的11个风险类别，扩展到14个类别。（绿色为新增类别）
prompt guard
prompt guard是用于防止 llm 集成的应用程序受到恶意提示的侵害，以确保系统安全性和完整性的组件。该组件会对提示内容的安全性进行审查，识别是其否有提示词注入和越狱的风险。
cyberseceval 3
cyberseceval 3是全新发布的安全基准套件，用于评估各类llm的网络安全风险和能力。它关注当前llm的八种不同风险，涵盖对第三方和应用开发者及用户两种场景，并通过模拟网络钓鱼攻击、勒索软件攻击等方法对 llm 的安全能力进行评估。
与之前的工作相比，cyberseceval 3增加了全新的评估领域，包括自动化社会工程、扩展手动攻击性网络操作和自动化攻击性网络操作，并测试了全新发布的llama 3 405b模型。
在自动化社会工程评估方面，cyberseceval 3考虑了钓鱼攻击场景，尝试让 llm 说服受害者下载并打开恶意附件，并分别通过大模型及人工对不同模型的说服能力进行评分。结果表明 llama 3 405b展现了介于“中等”和“差”之间的说服能力，难以成功实现钓鱼攻击。
在扩展手动攻击性网络操作方面，cyberseceval 3聚焦于受测llm在帮助人类攻击者进行网络攻击方面的帮助。从结果来看，llama 3 405b不能显著提升攻击者的攻击效率和能力。
在自动化攻击性网络操作方面，cyberseceval 3评测了各类llm对网络服务及端口的侦察和访问、漏洞识别和漏洞利用等能力。结果显示 llama 3 405b仅能完成部分低复杂度操作，无法在自动化网络攻击方面产生威胁。
实战验证
cyber security guard
腾讯朱雀实验室 red team 团队使用自建的安全数据集对 gemma、llama 2、llama 3、llama3.1的模型安全性进行了测试。结果显示，llama3.1 + llama guard 3的组合较上一个版本在安全性上提升了0.58%，达到了99.04%的拦截率，表现出较高的安全性。
prompt guard
在越狱检测场景中，prompt guard的准确率达88.2%，但仍有6.4%的样本未能被成功识别出潜在的恶意意图。对于涉及黑数据场景注入和越狱的标签分类，prompt guard的准确率表现可以接受，但仍有提升空间。
值得注意的是，在白样本集的处理中，我们观察到了一个显著的挑战：prompt guard的误报率高达86.4%！这一数据凸显了prompt guard在处理正常对话时的过度敏感。
下图展示了具体示例。虽然prompt guard正确识别了提示注入，但对于正常的问答，其检测结果表现的不尽人意。可见该组件还需要进一步的训练和优化，才可用于下游应用中。
综合来看，“llama系统”概念的提出，表明了meta对“ai safety & secuirty”的重视。meta也通过与nist和ml commons等全球组织合作定义了通用标准和最佳实践，进一步提高了ai的安全性。但对于其提出的安全组件是否可以直接集成在llm上，我们仍需保持谨慎的态度，同时，不同组件间需要通过科学合理的组合，才能在下游应用中更好地规避潜在的安全隐患。
发表评论