OpenAI 设立安全团队 Preparedness：评估 AI 风险、防止外界滥用

CTOnews.com 10 月 27 日消息，OpenAI 今日宣布，正建立 Preparedness 团队来评估通用 AI（Artificial General Intelligence，AGI）可能造成的灾难性风险，该团队交由麻省理工学院（MIT）的可部署机器学习中心主任 Aleksander Madry 主导。

OpenAI 表示，未来的 AI 模型虽然拥有造福全人类的潜力，但也可能带来严重的风险，因此需要建立一个强大的框架来监控、评估、预测及防范这些 AI 模型。

据悉，OpenAI 设立了 Preparedness 团队，将针对各种 AI 模型进行能力评估及红队测试，以追踪、预测及防范各类别的灾难性风险。

CTOnews.com发现，OpenAI 宣称的相关风险，主要包含以下三大类：

• 说服人类能力：AI 输出的内容是否会影响人类的行为

• 生成不当内容：AI 是否会生成有关化学 / 生物 / 放射性 / 核（CBRN）等危险内容

• 自主复制与适应能力（Autonomous Replication and Adaptation，ARA）：AI 是否会在自我迭代中脱离人类的控制

OpenAI 已开始招募不同背景的人才加入 Preparedness 团队，同时推出 AI Preparedness 挑战赛，鼓励参赛者以黑客名义，"破解"Whisper、Voice、GPT-4V、DALLE3 等模型，前 10 名将可获得 OpenAI 所提供的、价值 2.5 万美元（CTOnews.com备注：当前约 18.3 万元人民币）的 API 使用额度。