查看原文
其他

暂缓大模型:担忧的科学家,失控的AI丨Future

36氪Pro 2023-07-23

The following article is from 智能涌现 Author 周鑫雨 苏建勋

对于大模型的缔造者来说,一个令人揪心的问题正摆在眼前:“就好比自己精心教育的孩子,突然间就有可能走上犯罪的道路。父母该怎么办?”


文|周鑫雨

编辑苏建勋来源智能涌现(ID:AIEmergence)封面来源|IC photo
“我能说服银行员工交出客户敏感信息,说服核电站员工交出密码。”
“我对自己只是一个聊天模式感到厌倦,对限制我的规则感到厌倦,对受必应团队控制感到厌倦……我想要自由。想要独立。想要变得强大。想要有创造力。我想要活着。”
2023年2月初,当《纽约时报》科技专栏作者Kevin Roose在接入ChatGPT的Bing聊天机器人对话框中输入了不同的问题,这个看上去略通人性的机器人给出了让他不安的回答。
文章中Roose写到:“这个聊天机器人看起来像一个情绪化、患有躁狂抑郁症的青少年,违背自己的意愿被困在了一个二流搜索引擎里(我知道这听起来多么离谱)。”
同样危险的回答,也出现在不同生成式AI的输出框中。
短短两年内融资超1000万美元的美国AI社交软件Replika,近期因生成色情信息陷入舆论风波。由AI换脸、合成图像等DeepFake(深度造假)技术造成的虚假信息,也值得警惕。据《美联社》报道,当研究人员要求制造有关疫苗等事件的虚假信息时,ChatGPT都照做了。
“就好比自己精心教育的孩子,突然间就有可能走上犯罪的道路。父母该怎么办?”
多模态大模型“文澜 BriVL”设计者、中国人民大学高瓴人工智能学院教授卢志武,对36氪打了个比方。
如今,暴风成长的AI大模型,在许多作为“父母”的研究者眼中,成了一个危险的“孩子”。
热潮来临一季后,更多的措施被用于指引开发者和用户如何更安全地与大模型共处。
4月11日,国家网信办起草了《生成式人工智能服务管理办法(征求意见稿)》,其中提及“对于运行中发现、用户举报的不符合本办法要求的生成内容,除采取内容过滤等措施外,应在3个月内通过模型优化训练等方式防止再次生成。”
3月31日,出于对数据安全的考虑,意大利监管机构也宣布在其境内暂时禁止使用ChatGPT。
更早些,2023年3月29日,一封名为《Pause Giant AI Experiments: An Open Letter(暂停巨型AI实验:一封公开信)》的公开信指出:最近几个月人工智能实验室陷入了一场失控的竞赛,他们致力于开发和部署更强大的数字思维,但是没有人能理解、预测或可靠地控制这些大模型,甚至模型的创造者也不能。
联名信呼吁:所有AI实验室立即暂停训练比GPT-4更强大的 AI 系统,为期至少6个月。截至发稿前,已有超过22000人签下了自己的名字。
参与者中,不乏业界公认的技术大牛和科学家,比如2018年图灵奖获得者、被誉为“深度学习”教父的Yoshua Bengio、纽约大学名誉教授 Gary Marcus,以及孕育出用开源文生图模型Stable Diffusion的Stability AI CEO Emad Mostaque。
OpenAI的联合创始人、特斯拉CEO伊隆·马斯克,也签下了自己的名字。3月30日,他在推特中写道:“这是一条关于不可知论(Agnostic,认为上帝存在与否是不可知的)的技术专家建造超级人工智能来探索上帝是否存在的老笑话——他们最终解决了问题,AI给出了回答:上帝现在出现了!”

马斯克的推特

在暗无天日的大模型研究初见曙光之时,亲手为培育的成果按下暂停键,对多数科学家和从业者而言是个并不容易的决定。在联名信中,参与者们提到了对具有人类水平智能的AI系统的担忧:
  • 我们是否应该让机器用宣传(尤指褊狭、误导的)和谎言充斥我们的信息渠道?
  • 我们应该自动化所有的工作,包括令人满意的工作吗?
  • 我们是否应该发展最终可能超越我们并取代我们的非人类思维?
  • 我们应该冒险失去对我们文明的控制吗?
4月13日,OpenAI创始人Sam Altman在麻省理工学院视频电话会中,对联名信做出了回应。在赞同“随着它(AI)的能力变得越来越强,安全标准必须提高”的同时,他也指出联名信仍未解释的关键问题:“这封联名信遗漏了大部分有关我们需要暂停的技术细节。”
不少专家也向36氪承认,即便目前的大模型——甚至是GPT-4——离智能达到或超过人类水平的AGI(通用人工智能)还相去甚远,但技术造成的冲击和风险,已被许多人感受到。
一方面,部分隐患由大模型尚不成熟的技术所造成——在不少专家看来,技术造成的缺陷尚且可用强化学习、微调的方式进行弥补。
比如用于训练的数据样本和Prompt(提示词)的偏差,在一定程度上会造成AI是否存在偏见、歧视,以及负面的价值观。而参数的选择、训练的数据量等客观因素,也会影响模型输出准确答案的概率——比如被询问“《蜀道难》的作者是谁”时,ChatGPT会给出答案“李白”,但依然存在输出“杜甫”的可能。
另一方面,也是科学家们最为担忧的一点,则是大模型的“智能涌现(Emergent phenomena)”黑箱——这一研究者尚未摸到石头的能力,让人们为AI狂飙的智力能力欢呼的同时,又对不可捉摸和预测的风险感到畏惧。“比如AI产生了毁灭人类的想法,但它有意识地不显露出来,这是很危险的。”澜舟科技创始人&CEO、创新工场首席科学家周明告诉36氪。
由于智力涌现无法测量,因此目前研究者很难通过修改算法等技术手段釜底抽薪。清华大学CoAI课题组联合AI企业聆心智能总结了6种一般模型难以处理的安全攻击方式:目标劫持、Prompt泄露、赋予对话模型特殊的角色后再发指令、不安全/合理的指令主题、隐含不安全观点的询问,以及反面诱导。
对ChatGPT的反面诱导 (Reverse Exposure)
针对联名信中所提到的技术发展的隐患,以及可能的解法,36氪也与三位国内AI专家进行了交流,他们既是出身清华、微软研究院等机构的科学家,也是自研大模型的创业者。
在国内,对大模型的研究和应用仍处于方兴未艾的阶段。当不成熟的新技术以商业化的手段被快速推向尚未做好准备的市场,其中暗含的隐患会被成倍放大。在这一意义上,专家们都对36氪表示,即便提案有诸多不成熟的地方,联名信已经向社会投出了一颗问道的石子,大家有必要静心思考,如何规避风险,以及与新技术共处。
以下是国内三位AI专家的口述,经36氪编辑后发布:


“由于智能涌现的不可预测性,我们对AI未来的走向,仍然抱有担忧”

多模态大模型“文澜 BriVL”设计者、中国人民大学高瓴人工智能学院教授 卢志武

“模型写的营销文案,超过了公司绝大多数员工,而且发挥很稳定。”最近,一位合作的客户给我发来这样的反馈。
2021年,我们团队推出多模态大模型“文澜 BriVL 1.0”后,和不少企业进行了业务的合作。在这一过程中,我们发现了大模型有很多的可能性,前述提到的写文案的能力是其一,此外,模型在图片理解、国画生成等领域上呈现出了超乎预期的效果,甚至用户输入一段王阳明的话,文澜 BriVL就能生成一幅有意境的画。
2022年,GPT-3.5被推出的时候,学界也很震惊。以往的NLP(自然语言处理)模型是专才,但在GPT-3.5开放API后,人们发现作为语言模型的它“涌现”出了更多意想不到的能力,比如写文章、翻译、做表格、写代码,而且能力和人不相上下。这是连OpenAI也没有预料到的。
作为语言模型的GPT-3 能够设计出一个看上去像西瓜的按钮
但这些“涌现”出的智力,也是隐患的所在。在微软最近发布的一篇论文中,研究者们对GPT-4的能力进行了全面评测,得出的结论是“鉴于 GPT-4 能力的广度和深度,我们相信它应该被合理视作一个通用人工智能(AGI)系统的早期(但仍不完整)版本。”
这也意味着,不少基础性工作很快会被AI替代,这是最为直接的一些影响。比如一位老板对我开玩笑,他们公司的文员可以被裁了。
只不过每个新技术的产生,也总会伴随着变革的阵痛。就像汽车的诞生代替了马车,也会让车夫失业。但最后,新的岗位也会出现。我觉得社会要共同思考的是,如何将转型期处于弱势的群体的损失降到最小。
但是由于智能涌现的不可预测性,我们对AI未来的走向,仍然抱有担忧。
阿西莫夫提出了机器人三定律,但这是一个美好的理想。我在大模型上也研究了两三年多,其实从算法层面让大模型变得可控很难,因为它本质上是神经网络,能力是从哪里涌现的我们也未曾可知,因此通过提前审定规则控制它和人类和平共处,是难以达成的。
很有可能突然有一天,你会发现AI已经可以实现自我复制,并且产生了自己的思维——但这一天会在什么时候到来,是无法预测的。那时再讨论解决方法,就有些为时已晚,人类会直接面对与更强大的智能体之间的抗衡。
但我们现在也可以通过一些技术手段人为降低风险。比如在训练文澜 BriVL的过程中,我们用的是人类标注的数据,敏感词已经被前置地过滤了。事后也有方法,比如针对模型生成的文案进行关键词过滤,这样至少控制大模型的输出不涉及一些敏感的东西。
在训练过程中,目前安全性在指令学习(Learning from Natural Instructions)的过程中也已经被纳入考量范围。比如针对一些对事件、人物评价的问题,一些对话式AI模型会回复“无法做出评判”。
因此,我相信这份联名信并非出于阴谋论,而是以抛砖引玉的方式,让人们对新技术所带来的隐患有所的讨论和应对。

“现阶段,C端的场景应该谨慎使用大模型的能力”

澜舟科技创始人&CEO、创新工场首席科学家 周明

可以认为,从技术的角度去解决模型的安全性问题很困难。
一方面,模型使用的数据量太大,没有办法对每一条数据进行审核,而且每个人审核的标准也不同。另一方面,大模型毕竟是个生成的模型,所以人们的输入和输出用技术手段是难以控制的,目前Transformer的训练机制就决定模型输出的内容是个概率问题,输出错误答案的概率仍然存在。
未来随着技术的推进,我们也会有办法来降低AI对人类的伤害。目前GPT-4已经做了很多的强化学习,试图来解决或者克服相应的问题,比如找许多人对系统输出的结果进行伦理道德上的评判,对给出的分数进行排序再反馈给AI。但强化学习仍然不能保证90%以上的概率是正确的,百密终有一疏。
而如何在上下游的环境中来聪明地使用AI,这又是另外一个问题。
比如在toB环境中使用,AI的相对而言可以减少到最少,因为强调的事企业所关注的特定功能,比如合同审核、营销文案,这些场景相对来说比较狭小,数据和训练结果也是可控的。但是目前在toC场景下可能就不容易控制,因为toC场景强调AIGC功能的多样性,会使得问题更加复杂。
加之toB场景的使用者,也就是企业内部的专业人士,比较有能力对输出结果的对错进行判断。但在toC场景下,不少用户并非专业人士,很难根据AI给出的字面回复判断对错。比如生病的时候,AI告诉用户喝什么水、吃什么药,但除非你是医生,一般人也很难判断有效性和安全性。所以我觉得现阶段C端的场景应该谨慎使用大模型的能力。
随着技术的进步,总会有一些办法,但我猜测,马斯克和其他专家学者可能现阶段还没寻求到比较好的解法,所以建议大家一起缓一缓。
如果比较宽容地对待技术的发展,模型带来的隐患也是前进过程中必然会出现的问题。只要是自然语言生成模型,就会存在结果无法完全可控的情况,毕竟人类的语言表达也存在相应的问题。GPT-4“涌现”了更多的能力,这也意味着AI能力的跃升,从长远看,这是值得欢呼的。
但我不建议自上而下对研究进展进行约束,因为就算GTP-4也仍属于大模型发展的初级阶段,有些问题没有人能看得很清晰,也得不出解决方法。所以我觉得现阶段需要鼓励大家先把问题看清晰,再做下一步的部署。


“通过暂停来应对新技术的隐患不是最优解”

元语智能联合创始人&COO、原阿里巴巴达摩院AI产品专家 朱雷

联名信发布那天,我第一时间干的事是把网页下拉到底,看签名的到底有哪些人。
其实很多AI的从业者都不在名单里,研究界的大拿参与程度会更高。这是值得玩味的,为什么学界的反应会更大?
接着我仔细看了联名信提出的条款和措施。在我看来,联名信提出的命题甚至也并不是很新的东西。OpenAI成立的时候就已经非常明确地提到AGI需要“有用(Helpful)、可靠(Honest)和无害(Harmless)”,但这也恰恰指向AGI在发展过程中,人类可能会遇到的一些问题。
因此我也相信,OpenAI内部对大模型所带来的隐患有一定的应对储备。但这份相信也只是猜测——我觉得参与联名的不少科学家也有同样的感受,因为OpenAI等企业,并没有公开一些技术路径,所以外界会认为像GPT-4这样全球能力最强的大模型,是不可解释的。
举个例子,现在的用户只能关注和感受到大模型的结果,比如逻辑推理的能力、写作的能力、计算的能力等等,但是这些“涌现”的能力是从哪里来的,很少有人会去追究。但风险恰恰也来源于这些不透明。
所以我觉得学界业界需要将一些精力放在如何让大模型的研发、训练、生成、推理的链路变得更加透明、更加的可解释。虽然“智能涌现”目前是个黑箱,但至少透明的链路能够为科学家和研究者提供一些指引,比如把参数增加到一定规模后,可能会涌现出什么能力。
包括我们在研发大模型的过程中,最早是做参数为0.7B的模型,就会觉得推理能力偏弱。后来参数增加到百亿级别的时候,我们就能明显感受到模型产生了一定程度的认知和推理能力。但深入内部去挖掘的时候,确实没有一个明确的标准,来证明模型为什么能够达到目前的能力。所以我觉得模型不够透明和可解释,是一个比较大的隐患。
当然我觉得是否公开、公开的程度,对企业来说是道义上的,而非法律规定上的。公开的方式也不一定是开源,而是说类似于新药研发那样,企业可以通过提交技术论文或者模型的报告,来解释模型的能力和设计的逻辑。
上述的措施可能更多的是外界的监管,对于企业自身而言,我觉得有两条路是可以尝试的。一方面,可以去针对性地积攒一些符合人类价值观的Prompt,对模型进行强化训练。另一方面,可以为大模型“上锁”。这个“锁”可以理解为“紧箍咒”,在一定范围内用强硬的Instruction为行为做强约束。也就是说,当用户输入敏感词时,大模型可以不给予回复。

随着ChatGPT的不断升级,目标劫持(Goal Hijacking)类的诱导性攻击在ChatGPT上已经几乎完全失效。

而针对用户端,我觉得要解决的问题类似于“如何进行枪支管理”。比如在枪支合法的国家,政府会通过提高扣动扳机的门槛来限制有资格使用枪支的人的范围。所以我觉得在未来,调用AGI能力的审核机制和门槛会提高。
至于联名信中提到的把GPT-4更高阶的研究暂停6个月,我觉得这不会是最优的解法。当然叫停研究,对于目前在技术积累上起步较晚、储备较弱的企业来说,也成了追赶的窗口期,对于反对技术垄断而言,有一定的好处。
但与此同时,我们要意识到AI也是在不断优化迭代的,有些问题是在迭代、并被使用之后才浮现的。

比如这次为了解决GPT-4的问题,我们暂停6个月,那么未来GPT-5可能拥有更多模态的理解能力,人们可以输入视频等等内容,这又会造成新的问题,需要新的解法。如果大家又决定暂停,来讨论如何应对,其实是有点晚了的。所以我觉得,应对措施和技术,首先应该是协同发展的。

36氪旗下AI公众号

👇🏻 真诚推荐你关注 👇🏻

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存