迈向安全可信AI：独立基准测试

生成式AI正以前所未有的速度演进，新的大型语言模型（LLM）频繁发布，带来性能提升、效率优化和新功能。开发者、研究人员和组织在快速利用这些模型进步时，面临着一个重大挑战：如何持续可靠地评估其性能与安全性，并确定最适合自身用例的模型。

为满足这一需求，Google DeepMind与Giskard联合发布了LMEval（大模型评估框架）以及Phare Benchmark（独立多语言安全与安全基准）。这些工具旨在提供标准化、可重复的评估方法，帮助社区更有效地比较和选择AI模型。

核心解决方案

LMEval框架：

• 提供统一的大模型评估标准
• 支持性能、效率和多维度能力测试
• 确保评估结果的一致性和可靠性

Phare Benchmark：

• 独立的多语言安全基准
• 专注于模型的安全性和鲁棒性评估
• 涵盖多种语言和威胁场景

相关资源

• Google安全AI工作流开发经验分享
• 网络安全AI入门指南
• 大语言模型如何重塑网络安全格局
• AI安全五大实践建议
• RETVec： resilient and efficient text vectorizer

Elie Bursztein博士是Google & DeepMind AI网络安全技术与研究负责人，也是Etteilla Foundation的创始人。