人工智能安全，一直是ai领域的核心议题。大型语言模型（llm），例如gpt-4的出现，引发了业内对ai安全性的广泛关注。马斯克等数千人签署公开信，呼吁暂停训练比gpt-4更强大的ai模型，这封公开信正是来自生命未来研究所（fli）。
FLI由Max Tegmark等人工智能专家创立，致力于引导科技发展，降低极端风险。其顾问委员会成员包括霍金、马斯克等知名人士。
近日，FLI发布了首份《人工智能安全指数报告》（FLI AI Safety Index 2024），对Anthropic、Google DeepMind、Meta、OpenAI、x.AI和智谱六家公司进行了评估。报告显示，虽然Anthropic的安全性评级最高，但也仅为“C”，所有公司均有提升空间。
报告链接：https://www.php.cn/link/df46e19efffe9c4cd3e8808359aa8c8a
Tegmark在X平台上指出，Anthropic表现最佳，而Meta则垫底，但这并非旨在批评，而是为了鼓励改进。报告中也提到，公司入选标准是其在2025年前开发最强大模型的预期能力，智谱的加入体现了该指数的全球视野。
六大维度评估AI安全
报告从六个维度评估AI安全：风险评估、当前危害、安全框架、生存性安全策略、治理和问责制、透明度和沟通。
维度1：风险评估
OpenAI、Google DeepMind和Anthropic在识别潜在风险方面表现较好，但仍有局限。Anthropic与国家机构的合作尤为突出。Meta对自主性等威胁的建模不足，x.AI的风险评估几乎缺失。
维度2：当前危害
Anthropic和Google DeepMind在安全性与信任度基准测试中得分最高。Meta公开模型权重被批评为增加了滥用风险。对抗性攻击仍是主要问题，OpenAI模型尤为脆弱。
维度3：安全框架
六家公司均签署了《前沿人工智能安全承诺》，但仅OpenAI、Anthropic和Google DeepMind公布了相关框架，其中Anthropic的框架最为详尽。
维度4：生存性安全策略
Google DeepMind、OpenAI和Anthropic在控制与安全性方面开展了研究，但尚未有公司提出确保高级人工智能系统可控的官方策略。
维度5：治理和问责制
Anthropic在建立负责任的治理结构方面表现突出，而OpenAI转向营利模式引发了担忧。Meta的治理结构未能与安全优先级对齐。
维度6：透明度和沟通
OpenAI、Google DeepMind和Meta在游说安全法规方面引发了担忧，而x.AI则支持加强人工智能安全的监管措施。Anthropic在风险沟通和支持治理举措方面表现突出。
评分方法
报告基于42项关键指标对公司进行评估，证据来源包括公开信息和公司问卷调查。评分流程由独立专家小组进行评审，并提供详细的评分表和原始数据链接，确保透明度和可靠性。
这份报告为AI安全研究和行业发展提供了重要的参考，也促使企业更加重视AI安全实践，推动行业朝着更安全、更负责任的方向发展。
以上就是Bengio参与的首个《AI安全指数报告》出炉，最高分仅C、国内一家公司上榜的详细内容，更多请关注科技号其它相关文章！
