怕AI毁灭人类！OpenAI成立“算力防卫队”，预防核爆、生化攻击、AI自我复制等灾难

点击蓝字 · 关注我们

Open.AI

（Artificial Intelligence）

怕AI毁灭人类！OpenAI成立“算力防卫队”，预防核爆、生化攻击、AI自我复制等灾难。随着 AI 的技术越来强大，引发众多人士的一系列担忧。AI 龙头公司 OpenAI 宣布正在组建新的团队，以降低与 AI 相关的“灾难性风险”。

LLM

基于大型语言模型（LLM）的人工聊天机器人 ChatGPT 在 2022 年 11 月底横空亮相后，引爆了全球的 AI 热潮，也让开发商 OpenAI 声名大噪，估值不断随涨船高，在今年第三季度飙涨至 800 亿至 900 亿美元之间，成为世界上最有价值的私人公司之一。

OpenAI 

正组建新团队

随着 AI 的技术越来强大，也引发众多人士的一系列担忧。

对此，OpenAI 在美国时间周四（26 日）宣布，正在组建名为“准备（Preparedness）”的新团队，以降低与 AI 相关的“灾难性风险”，并交由麻省理工学院（MIT）的可部署机器学习中心主任 Aleksander Madry 来主导。

解释成立

新团队的原因

为了最小化这些前沿 AI 系统可能衍生的风险，OpenAI 进一步解释成立新团队的主因：我们深信前沿 AI 模型的能力将超过目前最先进的现有模型，并可能造福全人类，但它们也带来了越来越严重的风险。团队将努力减轻核威胁、生物、化学和放射性威胁等一系列 AI 可能引发的重大风险，以及 AI“自我复制”等行为带来的潜在风险。

预防未知风险

新的 Preparedness 团队还将针对各种前沿模型来进行能力的评估与红队测试，包括 OpenAI 在不久的将来所开发的模型，以及那些具备人工通用智能（AGI）能力的模型，以追踪、预测及防范各类别的灾难性风险。

美国政府也害怕 AI 危及国安

事实上，自 AI 推出并逐渐开始普及以来，不乏陆续有专业人士跳出警告 AI 对人类灭亡和道德..等相关风险。早前，美国总统拜登也曾与微软、 Google 、OpenAI、Anthropic 等 4 家龙头 AI 公司会面，明确要求这些公司的产品在部署前，应确保安全无虞。

当时拜登向这些公司的高管强调：

我们必须缓解 AI 对个人、社会和国安构成的既有与潜在风险。另外，美国证券交易委员会 (SEC) 主席 Gary Gensler 也曾警告，人工智慧可能成为未来金融体系下一个重大系统性风险，能强大的 AI 模型将加深整个经济体系的相互联繫，使金融崩溃的可能性更大。