整理｜冬梅、核子可乐

生成式人工智能的潜在危险引起了公众、政治家和人工智能研究人员的关注。随着各国政府希望压制该技术，OpenAI 扩大了其内部安全流程，以应对有害人工智能 (AI) 的威胁。

近日，OpenAI 公司 CEO Sam Altman 现身美国佐治亚州亚特兰大召开的全球希望论坛。全球 40 个国家的 5200 多名代表参会，旨在重新构想全球经济体系，让企业的自由效益与机遇惠及所有人。

OpenAI 公司已经制定计划，遏制当前及未来正在开发的强大 AI 技术可能引发的一切最坏情况。作为席卷全球的聊天机器人 ChatGPT 的缔造者，该公司本周公布了一份长达 27 页的“准确框架”文件，概述了 OpenAI 如何跟踪、评估及防范由前沿 AI 模型所引发的“灾难性风险”。

具体风险范围从 AI 模型被用于实施大规模网络安全破坏，到协助制造生物、化学或核武器等等。作为这份准备框架中制衡章节的一部分，OpenAI 表示该公司领导层将对是否发布新 AI 模型拥有决策权，但最终决定权将始终归董事会所有，即保有对 OpenAI 高管团队结论的“否决权”。

而且即使未遭公司董事会否决，具有潜在风险的 AI 模型在实际部署之前，也需要预告通过一系列安全检查。

将有一支专门的“准备”团队领导这项多管齐下的管控工作，负责监控并缓解 OpenAI 先进 AI 模型引发的潜在风险。

OpenAI 于 2023 年 12 月 18 日更新了有关准备团队的页面。此次更新的主要目的似乎是为识别、分析和决定如何处理他们正在开发的模型固有的“灾难性”风险提供一条清晰的路径。正如他们所定义的：

我们所说的灾难性风险是指任何可能导致数千亿美元经济损失或导致许多人严重伤害或死亡的风险——这包括但不限于生存风险。

除了调查正在开发的 AI 模型的准备团队之外，安全系统团队还调查当前模型的风险，“安全系统”团队调查以下风险：通用人工智能等超级智能模型有望在未来投入实际应用。他们宣布将成立一个名为“Superalignment”的团队，这三个团队将确保 OpenAI 的安全。

目前正在休假的麻省理工学院教授 Aleksander Madry，将出面领导这家初创公司的准备团队。他将监督一组研究人员，负责评估并密切监控潜在风险，并将这些具体风险整理成记分卡形式。按照具体影响程度，这些记分卡将把特定风险划分为“低”、“中”、“高”以及“严重”等类别。如果正在开发的 AI 风险超过“高”，将停止开发，如果超过“高”，将停止开发。超过 Medium，可能会停止发布。

准备框架指出，“只有在实施缓解措施之后，风险等级为「中」及以下的模型才能实际部署”，而且只有“实施缓解措施之后，风险等级为「高」及以下的模型才能进一步开发。”

此外，OpenAI 还宣布成立一个部门——安全咨询小组，负责监督安全决策的技术工作和运营架构。

安全咨询小组位于 OpenAI 的技术开发之上，并定期生成有关 AI 模型的报告。此外，该报告还提交给管理层和董事会。管理层可以根据安全咨询小组的报告决定是否发布人工智能模型，但董事会可以否决管理层的决定。换句话说，即使管理层无视安全咨询小组的报告并决定发布本身存在高风险的人工智能模型，董事会也可以使用同一份报告推翻该决定。

OpenAI 公司表示，目前此份文件尚处于“beta”测试阶段，预计将根据反馈保持定期更新。

该框架让人们再次关注到这家强大 AI 初创公司那不同寻常的治理结构。继上个月 OpenAI“逼宫”事件爆发后，该公司董事会实施了一波彻底改革，甚至将创始人兼 CEO Sam Altman 赶下了台。但凭借在公司内的民意基础和外部投资方的高度认可，Altman 短短五天之内即闪电回归。

这场备受关注的权力争夺大戏在当时引发了新的问题：Altman 对于他参与创立的企业该保有怎样的权力，董事会又该如何对 Altman 及其高管团队加以限制。

值得注意的是，自 CEO 回归后，那些反对他的成员们被排除在董事会之外。“如果安全咨询小组提出建议，并且首席执行官同意建议，那么董事会真的可以阻止他吗？” 这个问题的答案我们不得而知。除了承诺 OpenAI 将接受独立第三方审计之外，没有太多提及透明度。外界也对安全咨询小组是否真的存在表示怀疑。

OpenAI 公司强调，目前的董事会仍在“初始阶段”且尚未最终完成组建。三名成员均为高净值白人，负责确保 OpenAI 的前沿技术向着造福全人类的方向砥砺前行。

临时董事会成员缺乏多样性的问题正遭受广泛批评。部分反对者还担心，单靠公司的自我监管还远远不够，立法机构应当采取更多措施以确保 AI 工具的安全开发和部署。

以 OpenAI 公布这份最新主动安全框架为时间节点，过去一年来整个科技行业乃至其他领域一直在激烈争论 AI 技术引发灾难的可能性。

今年早些时候，数百名顶尖 AI 科学家和研究人员（包括 OpenAI 的 Altman 以及 Google DeepMind CEO Demis Hassabis）共同签署一封简短的公开信，呼吁将减轻“AI 带来的灭绝性风险”视为全球优先事项，其优先级应等同于“大范围流行病及核战争”等顶级风险。

这份声明很快引起了公众的广泛警惕。但后来也有行业观察人士认为，这其实是转移视线的烟幕弹，目的是将人们对于 AI 工具当前危害的关注引导到虚无飘渺的遥远末世场景身上。

但无论如何，此次 OpenAI 内部爆发的“斗争”还是引发了人们对于超强人工智能的担忧。《时代》周刊将 Altman 评为世界上最有影响力的人物之一，因为他在推进人工智能系统方面所做的工作，同时警告我们，人工智能可能会消灭所有人类文明。

参考链接：

https://edition.cnn.com/2023/12/19/tech/openai-board-safety-catastrophic-risks/index.html

https://gigazine.net/gsc_news/en/20231219-openai-safety-advisory-group/

你也「在看」吗？ 👇