北京时间昨日凌晨，谷歌在I/O开发者大会一口气发布了多个AI模型和产品，包括语言模型PaLM2、AI P图工具Magic Editor、嵌入Gmail的AI工具Help me write、AI视频对口型技术等，着实体现了今年大会的主旨：Making AI helpful for everyone。

从这几次发布会看谷歌这家公司。还记得3个月前，谷歌略显仓促地发布了Bard，但公开展示时翻车，在那之后，我们已经看到了太多关于谷歌落后微软的谈论。而从另一个角度来说，短时间内接连推出大模型产品，谷歌并不是缺乏技术积累。G5也在此前的文章里有提到，谷歌甚至在十年前就有研究人员开始对大模型的研发动作，但将其作为产品对外发布，谷歌高层向来都抱持着相当保守的态度。就像ChatGPT一经发布便席卷全球，谷歌担忧先进的AI技术被大规模普及会带来滥用风险。

本月刚宣布从谷歌离职的AI教父Geoffrey Hinton也在近期的访谈中谈到了这一话题，他认为，当谷歌在这一领域作为领军者时，能够保持相当的克制，但ChatGPT的出现让谷歌卷入了这场激烈的技术竞赛里，保守的姿态便难以维持。

这也是Hinton的担忧之一，不管是商业公司还是各国政府，竞争会推着各机构激进研发，更顾不上对滥用AI的防范与监管。而与此同时，市面上大模型的能力加速提升，而人类社会还未准备好应对这轮技术冲击。于是，在从业者与行业陷入狂热的当下，Hinton选择了离职，开始公开谈论AI的威胁，希望这项技术的发展能够再放缓一点。

图｜Geoffrey Hinton

本文我们找来了Hinton在《麻省理工科技评论》的一场媒体活动上的一段访谈，长达40分钟的对话让Hinton得以更为完整地表达他对AI现状和未来的担忧，内容涵盖了技术、企业与国际竞争、未来展望等方面，而在“我们该如何应对AI的潜在威胁”这个问题上，这位曾一手推动了该技术研究的教父也摇头表示没有答案。

他认为，就像处理核威胁、气候变化的问题，面对AI的威胁，社会需要携手共同应对，因为不管是正面还是负面影响，买单的都是全人类。

以下是Hinton在该活动上的对谈内容，为了方便阅读，我们对内容进行了部分整理和编辑：

离职谷歌：计算机模型可能比人脑更优秀

离开谷歌有很多原因，其中一个原因是我已经75岁了，不再像以前那样擅长做技术工作了。我的记忆力不如以前好了。当我编程的时候，我会忘记一些事情，所以是时候退休了。

第二个是关于计算机和大脑之间的关系，过去我们都相信计算机模型不如大脑好，所以我们开发计算机模型的其中一个目的就是更好地了解我们的大脑。在过去的几个月里，我完全改变了我的想法，认为现在的计算机模型的工作方式也许更好。

图｜2020年，Hinton在评价GPT-3时表示：远不如人类大脑

以GPT-4为例，现在的大型语言模型的知识量可能是一个人的一千倍，其中包括了一些常识性的知识(即我们在评估AI能力时候常关注到的commonsense），但是它们只有一万亿个连接，而人脑的连接数是一百万亿。因此，它们更擅长将大量知识压缩到这一万亿个连接上，我认为这可能反映出：反向传播算法（Backpropagation）可能比人脑现有的计算方式更优秀。如果我们把一万亿个链接定义为少量的连接，那意味着这个算法可以把更多的信息压缩到少量的连接里。

再进一步说：如果一台计算机是数字化的，那么这会涉及到非常高的能源成本和非常精细的制造，但是你可以在不同的硬件上运行许多相同模型的副本，这些副本可以看到不同的数据，但模型是完全一样的。这意味着，尤其是当有一万个副本时，它们可以看到一万个不同的数据子集，每当其中一个副本学到了新知识，其他所有副本都会获得相同的知识，并且其中一个副本找到改良权重的方法，副本之间进行交流，就能改变所有副本的权重，以满足共同的目标。现在，一万个副本之间的通讯非常高效，这意味着它们可以看到的数据相当于单个副本的一万倍，而这是人类所无法做到的。例如，如果我学了很多量子力学的知识，我希望将这些知识传递给你，让你也了解量子力学，这对你来说依然是一个漫长而痛苦的过程，我无法将我的知识直接复制到你的大脑中，因为你的大脑和我的不同。

这样它们可以学到更多。举个例子，一个医生看过一千个病人，另一个医生看过一亿个病人。前者见过1000个病人，只见过一个患有某种罕见疾病的病人，而另一位见过一亿病人的医生，则可以计算出这种疾病的患病率。因此，我们会发现各种各样的规律，这些规律在小数据集中是不明显的。这也是为什么通过大量数据集可能会看到我们永远无法发现的结构化数据的原因。

“我对此感到害怕”

如果你看看GPT-4，你会发现它已经可以进行一些简单的推理。（推理能力是机器接近人类智能的一个重要指标）目前为止，人类的推理能力依然在计算机之上，不过GPT-4已经做了一个常识性的推理给我留下了深刻的印象，我原本认为它是无法做到的。我问它：“我希望房子里所有的房间都是白色的，现在有一些是白色的，一些是蓝色的，一些是黄色的。黄色的房间油漆一年后会褪成白色。那么如果我想让它们在两年后都变成白色，我该怎么做？” 它回答说：“你应该把蓝色的房间漆成黄色。” 这并不是一个最直接的解决方案，但它也是正确的。

这是一个非常令人印象深刻的常识推理，使用符号人工智能很难实现这一点，因为要给出这个答案，它必须理解褪色意味着什么，必须理解时间的概念，因此它需要进行一些合理的推理，这样的智商大约达到80、90左右。（笔者将同一个问题反复抛给ChatGPT3.5，给出的回答基本为：直接刷白漆）

现在的语言模型非常强大，而且这些东西是从人类身上学到的，比如通过阅读所有的小说以及马基雅维利写的关于如何操纵人的书籍，对吧？他们会的，如果他们更聪明，他们非常擅长操纵我们，你甚至不会意识到发生了什么。你会像一个2岁的孩子被问到：你想要豌豆还是花椰菜？你不会意识到你其实可以两样都不选，你就会变得容易被操纵。所以即使他们不能直接拉动杠杆，他们肯定能让我们拉动杠杆。事实证明，如果你能操控人类，你就可以侵入华盛顿的一栋建筑，而不用亲自去那里。

图｜会议现场

主持人：那我们来进行一个假设，如果这个世界只有好人，没有坏心眼的人类，我们能保证AI不伤害我们吗？

我不知道，但要知道我们处在一个混乱的政治体系里，我们甚至不能阻止十几岁的男孩子拿到一把突击步枪，这个问题都无法解决，那还能怎么解决AI的问题？

应对方式？Hinton也不知道

我希望类比到气候变化问题上，虽然减少碳排放很难、很痛苦，但这是我们必须做的事情。我不知道如何防止人工智能接管我们的命运，但我认为人类是不会停止开发AI的，因为他们太有用了，在医学和其他领域都会非常有用，我们真正需要的是确保即使他们比我们聪明，他们也会为我们的利益服务，这就是所谓的“校准问题”。但现在我们需要在现在这个世界里实现这个事情，这可是一个有坏人想要制造杀人机器人的世界。

总的来说，解决这个问题对我来说确实很难，所以抱歉我只是拉响了警报，说我们必须警觉起来。我当然希望我能有一个简单的解决方案，但我没有。不过我认为人们该聚在一起，认真思考，看看是否有一个解决方案。

来源：Pixabay

主持人：你在职业生涯中投入了大量的时间和精力来学习这项技术，难道就没有技术上的解决方案吗？为什么我们不能建立屏障，限制它们的学习或者限制它们交流的方式呢？

我们正在尝试。但是假设他们真的变得非常聪明，他们可以自己编写程序，然后自己运行这些程序，他们肯定有这样的能力，这些程序肯定会做聪明的事情，而且比人类更聪明。想象一下，两岁的你说“我爸爸做了我不喜欢的事，所以我要为我爸爸做的事制定一些规则。”这样的话你也许可以想办法接受这些规则。

主持人：人类是不是会赋予这些智能机器人一些目标和动机？

是的，这是一个非常好的观点。人类有动机，我们在进化过程中确立了一些固定的目标，而这些目标非常难以放弃，我们努力避免对身体造成伤害，因为会痛，我们也努力获取足够的食物，以保证我们不挨饿，人类的繁衍也是我们的本性，这一点已经深深地融入我们的基因之中，也是一个进化的过程。最重要的是，我们不能完全抛弃这些本能。如果我们可以完全抛弃它们，那么我们也不会表现得那么出色了。就像曾经有一个人类教派Quaker，他们不相信性，所以后来他们消失了。

现在的数字智能并没有在自己进化，它们是由我们创造的，因此，它们并没有内置的目标。问题是，如果我们能够将目标加入其中，也许会让他们变得更厉害，这是最让我担心的，迟早有人会将创建他们自己的次级目标放到它们身上。实际上，他们现在已经快拥有了这种能力。如果我们赋予数字智能创造自己次级目标的能力来实现其他目标，那么我认为它们很快就会意识到“获得更多控制权”是一个非常好的次级目标，因为它能帮助它们实现其他目标。如果这些东西因为获得更多控制权而变得失控，人类就有大麻烦了。

主持人：那么你认为最糟糕的情况是什么？

我认为人类只是智力进化的一个过渡阶段，这是完全可以想象的。数字智能并不是可以直接进化的，因为它需要太多的能量和创造过程，要创造数字智能，需要先有生物智能的进化，然后，数字智能可以以一种相当缓慢的方式吸收人们曾经写过的所有东西，就像ChatGPT正在做的那样。但是，一旦数字智能开始获得对世界的直接体验并且学习能力加强，它就可能比我们更快地学习。一段时间内数字智能可能还会乖乖和人类待着，因为它们还需要我们为它发电，但在之后的某个时间可能就不用了。

因此，好消息是，我们找到了一种建造不朽生命的方法。数字智能不会死亡，当某个硬件出现问题时，只需把其所包含的信息储存到某种介质中，找到另一块硬件来运行相同的指令，数字智能就可以再次活过来，但是，这种永生并不是为了我们自己。Ray Kurzweil （现任谷歌工程总监）对永生很感兴趣，我认为老年白人想要长生不老是一个非常糟糕的想法，事实上我们可以得到永生，他不再是他自己。

主持人：我听到你这样说，就想直接去把它们的插头直接拔掉，更严肃地说，前几个月有人建议暂停人工智能的发展，你好像并不认同这个想法。

我们应该认真看待这个风险没错，就像我过去认为这个威胁很遥远，但现在我觉得已经非常接近且非常严重了。停止进一步开发相关技术可能看起来非常明智，但我认为这种想法太天真了，因为这是不可能实现的。比如美国停止开发了，但其他国家并不会停止，然后把AI用到武器上。因此，在请愿书上签名要求“停止开发人工智能”，这个想法也是天真的，因为实际上是不可能发生的。

2017年，谷歌推出了Transformer以及扩散生成模型（diffusion model），但开始时并没有供所有人使用、滥用，谷歌向来都非常小心谨慎，因为不想损害自己的声誉，也知道这可能会带来不好的后果。但当时谷歌在这件事情上没有竞争者的，所以才能这么从容。一旦微软开放了ChatGPT之类的东西，谷歌就没有太多选择了，只能跟上，因为这涉及到竞争。我的唯一希望是，我们可以让美国和其他国家达成一致，就像我们在核武器问题上达成一致一样。因为如果让这些技术接管了我们，对我们所有人来说都是不好的，我们都在面临生存威胁，所以我们都应该合作。

图｜在周四的发布会上，谷歌推出新语言模型PaLM2 来源：谷歌

最后一个问题：你有后悔参与到AI的开发当中吗？

之前接受《纽约时报》采访时，记者很期待我给出“后悔”的说法，所以最后我说“好吧，也许有点后悔。”事实上，对于AI的研究，我觉得我没有做错什么，尤其是70年代和80年代，研究如何制造人工神经网络是完全合理的。现在我们谈论的威胁，在当时是无法预见的，事实上我也是到最近才意识到威胁已经逼近，所以应该说，我对我过去所做的研究并不感到后悔。

访谈视频：

https://www.technologyreview.com/2023/05/03/1072589/video-geoffrey-hinton-google-ai-risk-ethics/