Open AI CEO 智源论坛演讲全文-讨论了AI治理和GPT-5等问题

在今天的 2023 北京智源大会的“AI 安全与对齐”主题论坛上，OpenAI 联合创始人 Sam Altman 首度对中国观众发表演讲。

我用GPT-4精校了一版翻译和字幕，前面缺了大概两分钟的时间。但是不影响整体内容。，后面有几个对话阶段比较关键的问题也翻译了一下，比如GPT-5的训练和全球合作等。

OpenAI的CEO强调，人工通用智能（AGI）的发展对全球合作至关重要，其可能带来的问题比如医疗系统的瓦解，生态系统的破坏等都需要我们警惕。他主张建立全球的AGI治理机制，并在全球范围内建立标准和规范，同时倡导科研人员共享安全问题的发现。他坚信只有在全球范围内进行深度合作，才能最大程度地发挥AGI的潜力，同时防止可能带来的风险。

演讲全文

人工智能已经为关键的医疗和科学进步做出了重大贡献，比如，通过消灭小儿麻痹症和天花等疾病，以及在减少气候变化风险的全球努力中发挥了作用。随着越来越强大的AI系统的出现，全球合作的赌注从未如此之高。如果我们不谨慎，一个偏离了目标的AI系统，原本设计用于改善公共卫生结果，可能会因为提供无依据的建议而破坏整个医疗系统。同样，一个设计用于优化农业实践的AI系统可能由于缺乏对长期可持续性的考虑，无意间耗尽自然资源或破坏生态系统，从而影响食品生产和环境平衡。

我希望我们都能认同，推进人工智能安全是我们找到共同立场的最重要领域之一。我想把我的讲话的剩余部分集中在我认为我们可以从哪里开始的地方。其中一个领域是AGI（人工智能）的治理。AGI有可能从根本上改变我们的文明，这突显出我们需要进行有意义的国际合作和协调的必要性。每个人都将从合作的治理方式中受益。如果我们安全、负责任地航行，AGI系统将为全球经济创造无与伦比的经济丰盛，解决像气候变化这样的共同挑战，以及在无数其他方面增强社会福祉。我深信这样的未来也同样属于我们，为了实现和享受这个未来，我们这个星球需要投资于AGI安全。要做到这一点，需要我们谨慎地进行协调。这是一项具有全球影响力的技术。鲁莽开发和部署导致的事故成本将影响我们。在这里，最重要的两个方面。

首先，我们需要在包容的过程中建立国际规范和标准，并为所有国家的AGI的使用建立平等、统一的防护栏。在这些防护栏内，我们相信有足够的机会供人们做出自己的选择。其次，我们需要国际合作以建立对以可验证方式安全开发越来越强大的AI系统的全球信任。我并不抱有任何幻想，这将是一项简单的工作。我们需要作为一个国际社区，投入大量且持久的关注，才能做到这一点。《道德经》提醒我们，千里之行始于足下。我们认为这里应该采取的最有建设性的第一步是与国际科学技术社区合作。特别是，我们应该推动增加透明度和知识共享的机制，以涉及AGI安全的技术进步。发现新的安全问题的研究者应该分享他们的洞见，以服务于更大的公益。我们需要深思熟虑，如何在尊重和保护知识产权的同时，鼓励这种规范。如果我们做得好，这将为我们深化合作开辟新的道路。

从更广泛的角度来看，我们应该投资于，推动和引导对一致性和安全研究的投资。在OpenAI，我们今天的一致性研究主要集中在一个技术问题上，即如何让AI系统成为一个有用和安全的助手。在我们目前的系统中，这可能意味着我们如何训练Chat GPT，使其不进行暴力威胁，或者帮助用户进行有害活动。但是，随着我们接近AGI，任何偏离对准的可能影响和规模都将指数级增长。我们现在积极应对这些挑战，力争将未来可能出现的灾难性结果的风险降至最低。

对于目前的系统，我们主要使用来自人类反馈的强化学习，来训练我们的模型作为一个有用和安全的助手。这是后训练对准技术的多种例子之一，我们也正在忙于开发新的技术。为了做到这一点，需要大量的工程工作。从GPT-24完成预训练到我们部署它，我们花了八个月的时间。总的来说，我们认为我们在这里走在了正确的道路上。GPT-4比我们以前的任何模型更对准。然而，对于更先进的系统，对准仍然是一个未解决的问题，我们认为这需要新的技术方法以及增加的治理和监督。

想象一个未来的AGI系统，提出了100,000行的二进制代码。人类监督者不太可能能够检测到这样一个模型是否在做一些恶意的事情。因此，我们正在投资于一些新的和互补的研究方向，我们希望能够取得突破。一种是可扩展的监督。我们可以尝试使用AI系统来协助人类。例如，我们可以训练一个模型来帮助人类监督者在其他模型的输出中发现缺陷。第二种是可解释性。我们想尝试更好地理解这些模型内部发生了什么。我们最近发布了一篇论文，使用GPT-4来解释GPT-2中的神经元。在另一篇论文中，我们使用模型内部来检测当一个模型在撒谎。虽然我们还有很长的路要走，但我们相信，先进的机器学习技术可以进一步提高我们生成解释的能力。

最终，我们的目标是训练AI系统来帮助对准研究本身。这种方法的一个有前景的方面是，它随着AI发展的步伐而扩展。随着未来的模型变得越来越智能，成为有用的助手，我们将找到更好的对准技术。在降低风险的同时实现AGI的卓越利益，是我们这个时代的重大挑战之一。我们看到，美国、中国和全世界的研究者有很大的潜力一起工作，实现这一共享的目标，我们致力于解决AGI对准中的突出技术挑战。如果我们能做到这一点，我有信心我们将能够利用AGI来解决世界上最重要的问题，并显著提高人类的生活质量。非常感谢。

问答

我们离AGI有多远？

我认为很难肯定地预测。但我确实认为，在未来10年内，我们很有可能拥有非常强大的人工智能系统。在这样的世界里，我认为正确解决这一问题是重要和紧迫的，这就是为什么我呼吁国际社会现在共同努力。历史无疑为我们提供了从根本上改变世界的方式，比许多人想象的要快。我们现在看到的加速及其影响是在某种感知。所以我认为，你知道，为它很快发生做好准备，并围绕安全问题，对吧。考虑到规模上的利害关系，似乎相当重要。

不同的国家/地区在合作解决AGI方面具有哪些优势。特别是为了解决人工智能的安全问题。以及如何将这些优势结合在一起？

人工智能安全。我们还没有所有的答案，解决起来相当困难和重要。此外，如前所述，这并不纯粹是一个技术问题，要让人工智能安全和有益的是，要在非常不同的情况下了解不同国家的用户偏好。因此，我们需要很多不同的投入才能到达那里。中国拥有世界上最好的人工智能人才。从根本上说，我认为，鉴于解决先进人工智能系统对准的困难，需要来自世界各地的最优秀的人才。因此，我真的希望中国的人工智能研究人员在这里做出巨大的贡献

关于GPT-5

我对接下来会发生的事情非常好奇，我最喜欢做这项工作的是处在研究的前沿，这是令人兴奋和惊喜的。而且，你知道的，我们还没有答案，所以我们正在探索许多关于接下来可能出现的想法。在某个时候，我们肯定会尝试在序列中使用GPT-5模型，但不会很快。我们不知道确切的时间，我们在OpenAI初期就一直致力于机器人技术的研究。我们对此非常兴奋，但也面临困难。我希望有一天我们能够回到那个领域。