OpenAI组建新的安全团队，以评估AI“灾难性风险”

日前OpenAI方面宣布，为评估和减轻与人工智能（AI）相关的“灾难性风险”，正在组建一支全新的、名为Preparedness的安全团队。

具体而言，Preparedness团队将负责把各种前沿AI模型的能力评估、评价和内部红队（即对模型进行渗透测试的攻击方）紧密联系在一起，包括OpenAI在将来开发的模型，以及真正“具有AGI能力”的模型。该团队将帮助跟踪、评估、预测和防范多个类别的“灾难性风险”，其中包括个性化说服（Individualized persuasion）、即AI'说服和欺骗' 人类的能力；网络安全（Cybersecurity）；化学、生物、放射性和核 (CBRN) 威胁；自主复制和适应（ARA）等。

同时，Preparedness团队还将制定和维护一项“风险知情的开发政策” (RDP)。据了解，该政策将详细说明OpenAI制定严格的前沿AI模型能力评估和监控、创建一系列保护行动以及建立整个开发过程的问责和监督治理结构的方法。对此OpenAI方面表示，“RDP旨在补充和扩展我们现有的风险缓解工作，这有助于新的高性能系统在部署之前和之后的安全性和一致性”。

目前，OpenAI方面已开始招募不同背景的人才加入Preparedness团队，其将由麻省理工学院（MIT）可部署机器学习中心主任Aleksander Madry领导。值得一提的是，OpenAI方面还推出了AI Preparedness挑战赛，前十名参赛选手将获得价值2.5万美元的API积分，并有望加入Preparedness。

OpenAI方面对此强调，“我们相信，前沿AI模型的能力将超越目前最先进的模型，有可能造福全人类。不过，它们也构成了越来越严重的风险……我们需要确保对高性能 AI 模型的安全具备必要的理解和基础设施”。

该公司还进一步指出，要管理前沿AI模型带来的“灾难性风险”，就必须回答三个问题，分别是“前沿AI模型在现在和将来被滥用时有多危险”、“我们如何才能建立一个强大的框架来监测、评估、预测和防范前沿AI模型的危险能力”、“如果我们的前沿AI模型权重被盗，恶意行为者会如何选择利用它们”。

【以上内容转自“三易生活网”，不代表本网站观点。如需转载请取得三易生活网许可，如有侵权请联系删除。】

延伸阅读：

• OpenAI或进行重大更新，以更低成本来吸引开发者
• OpenAI举办ChatGPT应用开发大赛，平台经济“真香”