查看原文
其他

王者荣耀的B面:人类在此喧闹,AI却在他们脚下悟道

史中 浅黑科技 浅黑科技 2022-09-18

浅友们好~我是史中,我的日常生活是开撩五湖四海的科技大牛,我会尝试各种姿势,把他们的无边脑洞和温情故事讲给你听。如果你想和我做朋友,不妨加微信(shizhongmax)。




王者荣耀的B面:

人类在此喧闹,AI却在他们脚下悟道


文 | 史中




孙悟空在旷野上狂奔,喉咙里喊出:I'm Real!!


他把金箍棒直插入地,炫目的振波四散冲开,眨眼间,又跳到敌人近身左右开弓,一顿输出行云流水,对方血槽见半。


然而,就在下一秒,猴子却突然判若两猴,握着铁棍,失神呆立,任由对手揪住一阵爆锤,刚才的威风无影无踪。


原因很简单:我在打《王者荣耀》——刚刚我还在操纵孙悟空,现在我把手指从屏幕上挪开了。


在0和1编织的赛博世界里,哪怕贵为齐天大圣,没有玩家的“灵魂注入”,它也只是一具皮囊。


孙悟空并不 Real。




看到这儿,很多浅友可能会哭笑不得:中哥你在说啥?孙悟空不就是个游戏角色么?游戏角色不用人操纵,难道还能自己上阵杀敌不成?


诶,那可真不一定哦。


最近我就遇到一群人,他们用了6年时间在王者峡谷里铺下了千万行代码,完成了三连杀:


第一、用人工智能指挥英雄战胜了无数人类好手。


第二、他们还把《王者荣耀》改造成了AI科研的试炼场;


第三、他们甚至把小小屏幕背后的游戏变成了“多智能体协作”这个人类前沿技术命题的悟道之地。


听我细细道来。





(一)为英雄披上“AI战甲” 



2016年,成都,一群人围坐在会议室里,眼神如哲学家般深邃,如圣徒一样虔诚,仿佛面前有一团篝火。


坐在C位的这个,名叫黄蓝枭。


你也许不认识这位老哥,但很可能以特别的方式和他“神交已久”。因为他就是现任王者荣耀的执行制作人,也是天美L1工作室的总经理。


多少个夜晚,你在被窝里端着手机上分的时候,四舍五入就是在黄蓝枭和他的同事们营造的王者峡谷里辗转缠绵。


当时,这群人正是在讨论这个古老而诗意的命题——能不能用人工智能控制王者荣耀的英雄去战斗?


看到这儿,你脑袋上可能又有问号了:王者荣耀的开发团队不好好做游戏,为啥非要用人工智能打游戏呢?


要搞清楚这个事儿,我们不妨坐在黄蓝枭和王者荣耀技术负责人杨光身边,听听他们在说什么。


彼时的《王者荣耀》还不是现在这般耀眼的“全民游戏”,里面可选的英雄也只有几十位,远没有后来的一百多个。


虽然很多英雄正在秘密开发中,但有一个问题贼拉困扰他们,那就是——这个英雄放出去之后,可不敢“太能打”。


这是为啥呢?


因为如果它的技能太牛X,那么,玩家用原来自己熟悉的英雄肯定打不过它,只好被迫抢着选这个英雄(或Ban掉它),这还有啥意思?


就像跷跷板一头被300斤的大胖子压得死死的,角色失去了“平衡性”。


平衡才有趣(截图出自短片《Balance》)



那怎么才能让一个新英雄在出生的那一刻,就和其他旧英雄是“平衡”的呢?


其实,在游戏开发界有一个祖传秘籍——新英雄发布之前,要找很多专业游戏测试员,用它跟老英雄打上几千场。各种姿势都尽量测试一遍,最终胜率在50%上下,那就说明它不比别人厉害也不比别人弱鸡嘛。


“祖宗之法”虽好,却有三个问题:


第一、测试员毕竟是人不是神,难以面面俱到。英雄放出去后,上亿玩家的智慧一起轰炸,还是难免发现一些骚操作,打破平衡性。


第二、人工测试太贵,越是要测试得万无一失,越是需要更多测试员,就越贵;


第三、测试员一多,又难免走漏风声。新英雄提前泄密,是游戏的大忌。


听到这儿,黄蓝枭看向你:这位同学,你有啥好办法?


估计你会说:


那能不能搞一个水平很高的机器人,左手新英雄,右手旧英雄,自己跟自己大战十万回合?


反正电脑也不吃盒饭,有电就能跑,不仅省时,还能比人类测试得更完善,还不担心泄密,一举三得!


你看,这不就回到我们刚才说的“用人工智能打游戏”了么?


人工智能脑补了十万场对局



“这个打游戏的人工智能是怎么做出来的呢?”我好奇心爆棚。


黄蓝枭示意我慢慢来,在继续讲故事之前,他得先给我科普一个小知识。


从游戏开发的角度,“用电脑控制的角色”有个统称,叫“智能体”


他说。


如果宽泛地说,智能体的历史可非常悠久。


就拿大家都熟悉的1985版《超级玛丽》来说,那个一上来就收走了无数小白人头的“香菇怪”就可以看做是最简单的“智能体”。




进一步说,《仙剑》《最终幻想》里那些叨逼叨的 NPC 也是智能体;


再看《星际争霸》《王者荣耀》里,那些小兵、野怪就更是智能体了。




这里要猛敲黑板!!!


人工智能是近几年才成熟的,那在这之前,驱动“智能体”的经典技术叫做“状态机”“行为树”。


所谓行为树,可以理解为是一个身上长满了“开关”的机器人。


比如天气黑了,就相当于触发了一个开关,机器人就要做一个动作;对手发了一个招,就触发了另一个开关,机器人就会躲避,然后按照预先写好的脚本还击。这个和工业上的机器人原理类似。


总之,所有反应的背后都是一条条具体的规则。规则越完备、越细致,机器人就看起来更聪明。


黄蓝枭解释。


这是一个简单的行为树示意图。



用行为树驱动的智能体在《王者荣耀》里早就有了,用在小兵、野怪的控制、新手教程之类的很多地方。


那还要人工智能干啥?


这是因为,行为树存在天花板,里面的规则即使写得再精细,水平最多也就相当于“青铜”。


用“行为树”来测试新英雄的平衡性显然不靠谱——这就像战士们日常用棒子操练了十万次,上战场之后看到对手掏出了机关枪。。。




现在你就明白了,回到2016年,王者 AI 团队想要的东西准确来说是——“用人工智能驱动的高级智能体”。


做出这种“智能体”,所需的技术约等于人类科技的极限,纯靠天美工作室的能力恐怕不够。。。


大伙儿发愁,从哪儿找点厉害的帮手呢?


此时,我们不妨把王者团队的故事按下暂停,挪一下地图,从天府之国穿越到祖国南海。


2016年的深圳,腾讯总部,有另一帮人同样聚在会议室里,眼神如哲学家般深邃,如圣徒一样虔诚,仿佛面前有一团篝火。


这群人来自腾讯鼎鼎大名的人工智能实验室——腾讯 AI Lab。


给不熟悉的浅友多介绍一句,腾讯AI Lab,基本代表了他们人工智能技术的最高水准。


他们做出的病理 AI 云平台,可以辅助医生看细胞涂片,识别一些早期癌症的准确率相当于3~5年经验的医生;


他们做出的药物研发系统“云深”,可以大大加快新药研制的速度。


他们做出的围棋 AI 选手“绝艺”,可以优雅地让世界冠军柯洁两子还能击败他;


杨巍,就是腾讯 AI Lab 的创始成员之一。


杨巍



当时,他和同事们刚刚做出绝艺,虽然横扫一票人类围棋大师,但他感觉不到狂喜——因为半年前,DeepMind 刚刚用阿法狗虐完李世石,中国人做得再牛,也不是“首创”了。。。


那怎么才能做出比下围棋的AI更厉害的人工智能呢?


纠结中,杨巍划开手机屏幕,突然看到了《王者荣耀》的图标——“比围棋更复杂的游戏,我们腾讯有啊!”


王者荣耀团队和 AI Lab 一拍即合。


大家踌躇满志,既然要做出最能打的AI,那就得起个最能打的名字。斗战胜佛悟空不正是中国文化里最能打的人(猴)么?这个AI还是“绝艺”的同胞兄弟,按照“绝”字辈排下去,就叫“王者绝悟”!(为叙述简便,下文简称绝悟)




回忆起这个“梦开始的地方”,黄蓝枭还是激动不已。


用人工智能去测试英雄的平衡性、改善新手教学关卡,让玩家玩得更爽,这当然是现实目的,但仅仅这样理解它的意义,就太简单了。


我们看到了一个更大的机会:《王者荣耀》这个纯国产自研的IP如果可以突破“游戏”的局限,成为一个训练智能体协作的基础设施,那才能对社会和产业有更深远的帮助!


他说。


杨巍接受委派,成为了绝悟的AI技术带头人,心潮奔涌。


然而,热情的岩浆即刻冷却,变成了沉重的砖石。


举目四望,当时整个地球上还很少有人公开用AI打“复杂游戏”的计划,也没有研究者公布相关学术论文,更没有成熟的代码、算法可以参考——标准的“三无状态”。


该从哪儿下手呢?





(二)英雄的“内啡肽” 



在普通人看来,围棋和《王者荣耀》是毫无关系的两种玩意儿——前门楼子和胯骨轴子。但在杨巍这种专业大牛的眼里,《王者荣耀》其实可以理解为升级版的围棋。


只不过,升级的跨度有点大就是了。。。




杨巍告诉我,它们的区别主要有三:


第一、围棋的玩法是一对一,王者荣耀的玩法是五对五(5v5),可以不严谨地理解为“10个人一起下的围棋”。


第二、围棋是回合制比赛,我下的时候你只能看。但王者荣耀是“即时竞技”,两边同时肝,谁犹豫一秒就会败北。


第三、围棋盘面就361个点,黑方和白方看到的局面都是完整的、一致的。可王者荣耀的游戏玩家只能看到自己视野内的局面,至于视野外的敌人具体在干嘛,那纯得靠“猜”了。


从数学的角度看,玩这种(有绝对强度的)对抗游戏,要想胜率达到绝对意义的100%,其实只有一种办法——穷举。


就拿围棋来说,对手下完一招棋之后,我如果可以把棋盘上所有能下子的点位都思考一遍,然后在每种可能性的基础上,再把接下来对手可能下的点位再思考一遍,以此类推,把亿万种不同的“剧本”全都尝试过,最终就能“遍历”所有的“状态空间”。


这相当于每一种走法将会导致的结局我全了如指掌,那想输也输不了。。。




但坏消息是:穷举围棋的每一种姿势只在理论上可行,现实中,它已经超越了所有计算机的计算极限。


还有更坏的消息:王者荣耀的状态空间比围棋更大,更是超越人类计算机极限不知哪里去了。粗略估计一下,打一局王者,里面可能有10的20000次方种操作的可能性。不好意思,宇宙中原子的总数也只有10的80次方个。这事儿估计上帝也做不到。。。


不用穷举法,那用啥法呢?


用“依葫芦画瓢法”。


还是举个生活中的小栗子吧。


你是一个360斤的胖子,想减肥到120斤,这是你的终极目标。


为了达到这个目标,你得分成10086个步骤来做。而每一步里,你还面临10086种选择。


比如早晨第一步就有“不吃早餐”、“吃包子”、“吃面条”、“吃鸡蛋”、吃“肉夹馍”。。。(你完全没办法穷举)


可是,哪个操作能提高最终的“胜率”,你完全不知道啊!




这时候,最好的办法不是原地苦想,而是看哪位老哥曾经减肥成功,你模仿他的操作。


如果他早餐吃的是“鸡蛋沙拉”,那你也应该先尝试吃“鸡蛋沙拉”;他第二步是“晨跑30分钟”,那你也应该这样。(虽然从上帝视角来看,一定存在更适合你的办法,但你就!是!不!知!道!最好的选择只有模仿。。。)


绝悟最初学习打王者也是同样的道理,这个过程的学名叫“模仿学习”。




模仿谁呢?模仿职业电竞选手。


王者荣耀的高手大概都知道,有一个名叫 KPL(王者荣耀职业联赛)的比赛,是这款游戏的最高殿堂,每年职业选手都会在这里来一次华山论剑,而这些比赛录像都是公开的。


于是,腾讯 AI Lab 赶紧把这些录像都找来,让人工智能学习。


KPL 比赛现场



人工智能当然不会排排坐背着手听老师讲课——所谓学习是通过一种叫做“奖励”的东西实现的。


这一点和人类的进步过程也超级相似。人在不断实现目标的过程,大脑会分泌“奖励递质”内啡肽。


还拿减肥举例:今天你跑步半小时,内啡肽就会分泌;晚餐八分饱,又会分泌;睡个好觉头脑清醒,又会分泌;直至最后减肥成功,大分泌。


人类的“内啡肽分泌体系”是千万年进化的结果,可绝悟没这些,脑袋里是一张白纸——所有的“奖励机制”都需要人类从头设计。


所以,人工智能的训练,本质上就是奖励设计的过程!


杨巍一语道破天机。


这段科普截取自X科技实验室的视频节目,他们很好地解释了绝悟的训练过程,非常推荐,链接附后。



比如,敌人被击中掉血,我方英雄该怎么赏?对方英雄出招被我躲过,赏多少?对方英雄被击杀,怎么赏?推掉一个塔,怎么赏?打团帮同伴挡住敌人大招,怎么赏?


当然除了正奖赏,还有负奖赏——罚。


比如,我方英雄被击中残血,应该罚多少?如果罚得太多,英雄就会不敢出战,各种逃窜,甚至掉一丝血就想回城补血;如果罚得太少,英雄又会傻冲,容易被团灭。


你看,这种奖励的设计过程非常精细——往往奖励值变化一点点,就会导致训练出来的英雄性格迥异。所以,需要技术宅们蹲在电脑前反复调整实验,才会试出理想的结果。


注意看,这里杀敌的奖励反而是负的,因为这个过程会导致其他奖励都在增加,如果此处再给奖励会让AI过于执着于击杀敌人。(由此可见奖励调整过程中有很多反直觉的操作。)



怎么样,听上去这个“绝悟训练计划”天衣无缝吧。


呵呵。




(三)少年绝悟 



我们把时间轴拉到2017年。


彼时,已经“埋头苦练”半年的绝悟一招一式都有了模样,感觉棒棒哒,迫不及待想找个对手试一下。


“来,你们出个强人跟绝悟打一场!”杨巍对王者团队下战书。


王者的同学说,我们不是有负责新手教学的“行为树”么,绝悟先跟行为树打一仗,赢了再说呗。


“哼,竟然小瞧人。”杨巍他们哼着小曲把绝悟和行为树的接口连通,两边干了一架。


结果。。。。绝悟被打得满地找牙。


之前说过,行为树的水平大概是“倔强青铜”,这么一比的话,彼时的绝悟水平大概就是。。。躺平废柴。。。


啊,我们一群人开发了半年的人工智能,比不上一个王者开发同学花半个月写的行为树,那感觉简直无地自容。当时就觉得这玩意儿简直太难了。


杨巍回忆。


受了打击,他跟业内专家交流,倒倒苦水。


本想求点“练兵高招”,可大家的意见却如五雷轰顶:这玩意儿做出来的可能性确实不大,早点放弃,也不是不行。。。


可是,眼看团队同学们每天还在冥思苦想解决办法,自己放弃,这可怎么见江东父老呢?他只好顶住压力,装作无事发生,继续鼓励大伙儿。





果然,功夫不负苦心人,有两个方向渐渐在他们的视野里清晰起来:


第一,即便是 KPL 高手,也不意味着每一个操作都是正确的嘛!他们也有失误,也会有平庸的操作,不能啥都跟他们学。


第二,人类打游戏时是左手控制方向,右手控制出招,分别是两个脑区负责的。那是不是绝悟也应该把“走位”和“出招”分开来训练呢?


先说第一个方向。


怎么让 AI 学到人类精华呢?


黄蓝枭派出几位精锐的游戏策划师,他们不仅是游戏的主创成员,更是打游戏的高手。这些高手的任务很奇特:不用干别的,就盯着屏幕把比赛录像看N遍。


因为他们对游戏的理解特别深刻,所以,有些我们看上去炫酷的操作,在他们眼里反而是平平无奇的花架子;有些容易被忽略的微操,在他们心中恰恰是功底深厚的神来之笔(老玩家应该明白这种感觉)。


就这样,他们调动毕生经验,把真正的优秀操作一个不落地标记出来。


这个操作,就是人类高手的经验被“提纯”成《九阴真经》的过程。接下来,只要推着绝悟的后背传入它体内就好。


这是英雄学会了“利用草丛”,阴在草丛后面等对手进入攻击距离,猛然跳出一波带走。



这是两个英雄学会了“配合”,英雄A用护甲保护残血队友B,并且打出空间,队友B默契地用技能击杀对手。



再说第二个方向。


他们把涉及位置移动的操作全部交给一个系统训练,又把涉及出招的操作交给另一个系统训练。这样一分开,果然,绝悟的脑子不再是一团浆糊,操作清爽多了。


需要强调的是,这个思路还进一步启发了他们,除了左右手操作分开训练,是不是还能把其他一些重要的决策也独立训练呢?


于是,他们又搞出了好几个独立的“脑区”:



比如有一个脑区专门负责“猜测敌人位置”:每时每刻根据现场的情况修改判断,比如在这个草丛没有见到对手,那对手在另外草丛的概率就会增高;


比如还有一个脑区专门负责“大局研判”,基于现在的战势,我应该往哪里走才对整体最有利?有了大局研判, 英雄的格局就打开了, 不会在屏幕这一小块区域里恋战,而是能运动起来,及时出现在险要位置。




两个红点,分别表示了此时此刻英雄在全局的目标和在本地的目标。就是由两个脑区生成的。


这些脑区虽然独立思考,却能很好地协作:

1、他们都能根据自己了解的情况产生“奖励值”;
2、诸多脑区的“奖励值”综合在一起,共同对英雄的行为施加影响;
3、这种操作,就像用几根细细的丝线来共同控制木偶那样。



经过这么一堆改进,绝悟的水平果然开始慢慢提高。

怀着忐忑的心情,腾讯 AI Lab 的同事又让绝悟跟行为树约了一架——这次,换行为树满地找牙了。

艾玛,大仇终于得报!绝悟团队的技术宅们复盘绝悟的战斗录像,就像老父亲拿着儿子补考了十次的60分成绩单,热泪盈眶,濒死的自信心总算缓过来一些。

可信心这个东西,几天不打击,又会变得膨胀。

2017年底,又练了几个月的团队觉得绝悟的水平可以了,是时候找几个真人胖揍一顿立立威了。于是他们在一次高层管理会上,热情挑逗茶歇中的领导们跟绝悟来上一局。

领导们兴致来了:玩就玩,正好看看你们的水平如何。

本来腾讯 AI Lab 他们盘算的是,领导又不是专业选手,水平能有多强,绝悟别把人类虐太惨就好。结果,很快他就发现自己鲁莽了。这几位自告奋勇的领导有两个都是王者段位,其他都是星耀。

豪华阵容直接把绝悟虐在当场,气氛一度有些尴尬。。。

领导说来啊再打一局,绝悟团队说对不起打扰了。。。

这次“惨痛教训”,让他们学得老乖了。

“猥琐发育,别浪。”后来就成了我们王者绝悟的研发方针。和打游戏一个道理嘛。

黄蓝枭说。

果然,绝悟狠狠猥琐了大半年,闭关苦练,战力大幅提升。直到2018年,陆续有“同行”的新闻爆出,阿法狗的开发者 DeepMind 正在挑战用AI打《星际争霸》,马斯克参与创建的 OpenAI 也开始打 Dota 的主意。

黄蓝枭默默点头,果然大家都想到一起去了。

这种情况,就不该再猥琐下去了,是时候让绝悟也揭开面纱——找真实的人类来一场《王者荣耀》公开赛了!

“可是,那时候绝悟的能力也许打不过顶尖职业赛手吧?”我问。

“不是也许,就是打不过。因为是跟在职业选手屁股后面学的,理论上没办法比人家更厉害。”他笑。

选来选去,王者绝悟团队挑中了几位游戏主播和前KPL选手,在2018年的 KPL 总决赛上向他们发起挑战。这些玩家当然也很厉害,但毕竟不是巅峰状态的职业选手,想来和当时的绝悟水平正好相配。

绝悟对阵前职业 KPL 选手辰鬼、零度和职业解说白乐、九天和立人组成的人类战队。


杨巍带队去了现场。他还记得,比赛前一晚双方就开始“斗智斗勇”了。

主播队和绝悟队进行了友好的赛前会面。主播队说我们很菜,杨巍说不不不我们才菜。主播说你们敢把绝悟拿出来,肯定有把握。杨巍说真没有,你们明天千万别打得太认真。

一阵尴尬沉默,主播们终于说出了那个藏在心底的请求:今晚能不能先让我们私下打一局,体验一下绝悟的实力?

杨巍的头摇成拨浪鼓。他眼角余光瞥见同事们,这群人头摇得比他还厉害。

虽然表面不能让别人看出来,但其实心里确实没底。

因为 AI 训练的原理就决定了它不可能覆盖所有可能性。对手一旦使出怪招,天知道会触发什么Bug。万一绝悟有啥弱点被对方拿捏了,第二天我们必败无疑啊。。。

杨巍回忆。

就在麻杆打狼两头害怕的暧昧气氛中,比赛正式打响。



画面通过直播信号忠实地向千万观众传送。杨巍和同事坐在导播台后面,手心里全是汗。这场比赛没有彩排,只有上帝才知道结局。

刚开始几分钟,主播队的英雄配合默契,像拳头一样猛攻,而绝悟的几个英雄却像五指伸开。这种温吞的战术让观众完全看不懂,而且局面上,绝悟也是且战且退,仿佛屏幕上写满了“招架不住”。。。

杨巍都快昏过去了。

比赛到三分半,绝悟已经被“四杀”

当时我已经开始想,如果输掉比赛,回去要怎么和领导交代,怎么总结教训了。。。

他说。

然而,现场观众却渐渐陷入沉默,因为绝悟稳住了阵脚,温吞的防守变成有条不紊的输出,竟然开始一点点扳回局面。

那一刻,杨巍突然意识到,除了技战术本身,AI 相比人类还有一个巨大的优势,那就是无论局面如何危在旦夕,它都不会受到情绪影响,因为它就没有情绪!

反观主播,心态开始肉眼可见地出现滑坡、滑坡、滑坡、泥石流。

这是绝悟最终取胜的画面。


人类战队水晶被拆那一瞬间,藏在导播台后面的杨巍他们弹射起来,高声欢呼。导播转过身来怒目而视:吵什么!我们正在直播呢!!

绝悟脖子上戴满花环,载誉而归。

可是,和荣誉一起到来的,却是巨大的瓶颈。




(四)自己“揍”自己 


问你个问题:孙悟空和他师傅菩提老祖谁更厉害?

那还用说,肯定是当师傅的菩提老祖更厉害。西游记里说孙悟空只跟菩提老祖学了个皮毛。就算他把菩提老祖的技能全学会,那也只是和菩提老祖打个平手。

纠结点就在这儿。从“模仿学习”的原理来看,是不存在“青出于蓝而胜于蓝”的可能的。AI无论多努力,最多只能学到师傅的八成功力。

换句话说,绝悟要想继续精进,超过顶尖职业选手的水平,已经没有师傅可以教得了它了。

只剩一种选择:自己教自己——让 AI 通过无数次和自己对战,领悟进阶的真谛。

用人工智能的“黑话”来说,这种自学行为就叫“强化学习”。

你还记得当年,在 AlphaGo(阿法狗)之后,又出来一个 AlphaZero(零狗)么?

这个零狗就是通过自己跟自己下了好几亿盘棋自学成才的。后来证明,它比阿法狗还能打一万倍,人类绝无希望战胜。

这张图是强化学习的架构图(点击可以放大)。最左边是输入信息,包括:不可见信息(猜的)、小地图、己方英雄、敌方战斗单位(英雄、小兵、野怪、塔);中间是数据通过不同的神经网络;右边是输出结果,包括大局的研判、现在应该做的事情(做啥,怎么做,对谁做)。


杨巍告诉我,从2019年开始,在绝悟团队里就专门拉出来一支“特种兵”,用强化学习的方式秘密训练“绝悟2.0”。

可是,特种兵面前却是一个岔路口:

向左走,是把之前已经学成的“绝悟1.0”拿来继续深造成“2.0”;
向右走,是从零开始训练“绝悟2.0”。



这俩有啥区别呢?

如果在绝悟1.0基础上深造,相当于大学毕业直接考研,难度不大,但大学阶段养成的“积习”已经定型,受限于这个历史包袱,很难有翻天覆地的进步;

如果从一张白纸训练绝悟2.0,那么虽然能抛掉历史包袱,但可想而知计算量非常巨大,万一模型和参数调整不好,就可能面临“没练会,先练废”的惨烈局面。。。

技术宅们商量了一下,欲练神功必先“自宫”,是男人就该对自己狠一点,咱从零开始。



最初数据看起来都很完美,但时间一点点过去,模型还是不收敛,而且曲线开始摇摆,甚至突然一下就跌到负值。。。

杨巍回忆。

这个局面就有点尴尬了。

训练模型就好比烧制一个巨大的陶瓶——放在窑里继续等待,也许再等十天半个月模型可以定型;但也可能再等个一年半载也无法定型;更有可能等了很久,烧出来一看,已经碎裂。。。

翻遍了顶级期刊论文,也没人研究过面对这种情况应该怎么办。杨巍他们知道,自己站在实践的最前沿,只能摸着石头过河了。

仔细反思,他们想到了一种办法:

之前的操作是想毕其功于一役,把10个英雄放在5v5的地图里一锅炖,当然就会造成模型异常复杂。那能不能把训练分成几步走呢?

顺着这个思路,他们制定了周密的计划:

第一步,先在1v1的场景下把英雄分别练好。
第二步,把100个英雄分成20组,每5个英雄固定组队,让每组英雄自己和自己先进行5v5训练。
第三步,固定组队英雄训练完毕,再把英雄打乱编队,开始乱斗训练。

这个操作就像学生上课一样,一章比一章难,一学期比一学期进阶,所以又叫做“课程学习”。

可以拿学象棋来比喻,先学会兵,再学王,再一步步学会其他棋子。


说干就干。果然按照这个思路调整的“课程”,既保证了能从零开始训练,又保证了训练强度不会爆棚。

至此,已经没有什么能够阻挡绝悟2.0的水平突飞猛进了。

这张图显示的是不同阶段的“课程”。注意红圈里的红线高于蓝线。这表明,“上过前两课”的人工智能表现要超过“没上前两课直接训练第三课”的人工智能。


2019年夏天,绝悟2.0按奈不住,在王者荣耀世界冠军杯半决赛中对现役选手发起挑战,4位中国选手和一位马来西亚选手组成联队迎战。

这次表演赛,绝悟又把绝地反击的戏码来了一遍,战胜了人类。

确切地说,是战胜了人类玩家里最职业的那一拨。

5个人类高手对面,是5把空椅子。


这次比赛结果摆在眼前,黄蓝枭长出一口气。

从2016年开始的艰难跋涉,绝悟用了整整3年,终于爬到了金字塔尖。这背后的心酸艰难和几次濒临放弃,无法与人言说。

好在上天眷顾,绝悟成了。

讲到这儿,我们的故事就如同一条小河开始汇入大众记忆。

很多人可能还记得,2020年“五一”,正是很多人被疫情封在家的时候,《王者荣耀》猝不及防地升了一次级,多出了一个模块,名字就叫“挑战绝悟”。



没错,王者 AI 团队决定,把绝悟向普通人开放,所有人都能来挑战。

一方面,让人类来挑战AI,本来就是一个新奇的游戏环节;另一方面,上亿玩家围殴绝悟,对绝悟的能力和稳定性都是前所未有的试炼。何乐而不为呢?

“这么多人打绝悟,你不担心大家找到什么 Bug 吗?”我问杨巍。

“这回我有信心了!再说,如果真有 Bug 被找到,没准儿大家更开心,能达到意想不到的宣传效果呢!”杨巍笑。

果然,“挑战绝悟”一出来,玩家们铆足了劲儿开始研究干掉绝悟的“邪术”。还有大神在网上发帖,跟写论文一样阐述他发现的绝悟弱点。场面不要太热闹。

追帖的人中,就有杨巍。

有时候看大家的帖子我觉得很有趣。因为AI的训练过程是一个复杂的“黑盒子”,很多绝悟的操作连我们团队自己都很难解释,别人猜的就更不准了。
但大家的热情很鼓舞我们。“AI的可解释性”确实是一个值得研究的前沿领域,所以后来我们也开发了解析模块,专门负责理解绝悟每一个操作背后的“理由”。

他说。

这张图一定程度解释了绝悟的思路——不同阶段,绝悟的意图不同。上图显示:推塔的时候,AI的注意力分布;下图显示:攻击水晶的时候,AI的注意力分布。


其实,对王者 AI 团队来说,最令人骄傲的成绩不是训练出“绝悟”,而是碰了无数墙壁,终于找到了训练“多智能体协作”的那条路。

他们把这些经验总结成训练框架,写成论文发表在了国际顶级期刊上。

这下,全世界的“多智能体协作”研究者终于不会再像杨巍当年那样,没有任何可以参考的文献了,人工智能的边界也由此确凿无疑地前进了一点点。

王者 AI 团队把过去几年摸索出的一整套“强化学习框架”写成论文,投到顶级学术会议(NeurlPS 2020)发表。


我刚刚一直在说“多智能体协作”,估计很多浅友会感到陌生。

其实,“多智能体协作”是解决很多现实难题的基石技术之一。你不妨跟我一起想象一下:

把王者荣耀的英雄们换成汽车,把地图换成街道,就变成了一个智能驾驶问题;
把英雄们的大招换成机械臂的动作,就变成了协作生产问题;
把游戏里的分路换成大厦里的电梯井,就变成了电梯调度问题;
把防御塔看成燃烧的火焰,那么,一群英雄围殴它就变成了火场救灾问题。

这样的例子不胜枚举。

这么说吧,如果要造出《终结者》里 T-800 那种“通用人工智能”机器人,一定要先突破“多智能体协作”技术。(我曾在《人工智能杀人回忆》里详细写过如何造一个“T-800”,浅友们可以点击复习。)

至此,我们再回过头来看黄蓝枭所说的那句话:“我们绝不仅仅是用人工智能提升游戏体验,而是要让它对社会和产业有更深远的帮助。”也许,你会有更深的感受。

没错,他们要试着凿穿王屋太行,向那个诱人却迷雾重重的远方前进。

目标虽是星辰大海,可这第一步该迈哪条腿呢?




(五)开悟 


2019年,黄蓝枭往母校电子科大跑了好几趟,然后又马不停蹄地跑去中科大、北大、清华。

他在推进一个“秘密计划”——把训练绝悟的一整套平台封装成一个“试炼场”,并且免费开放给这些高校。

这个试炼场,表面上是炼AI,其实是炼人的:

第一,同学们当然可以在其中训练出“属于自己的绝悟”,但其实这并不重要。
第二,通过训绝悟的实操过程,可以让更多人学会AI,爱上AI,成为AI人才,这才重要。
第三,这些人才可以带着他们的经验和代码走向各个产业,继续解决不同场景下具体的“智能体协作”问题,这更重要。

王者 AI 团队和腾讯 AI LAB 决定给这个试炼场起名叫“开悟”

开悟官网的介绍


背后的逻辑不言自明:星辰大海过于遥远,靠“单排上分”太孤独了,得先找到无数开悟的人“组团开黑”才能抵达。

不过,要做出一个稳定好用的试炼场绝非易事。

这就像你请朋友来你家教Ta做饭。你肯定不能直接把Ta丢到厨房,说你自己研究吧,这样,人家连油盐酱醋在哪儿都找不着。。。

实际上,你需要“封装”出一个人家看得懂、易上手的厨房。

首先,你得把菜洗干净、把调料放好,这就是预制的算法和模型
其次,你得把炒菜的原理和顺序给人家讲清楚,还要把用不到的调料藏在柜子里以防人家拿错,这就是AI训练框架
最后,你还得给人家把煤气灶准备好,这就是数据和算力

这样一来,如果你是新厨子(学生),只要按顺序放菜放料,也能炒出一盘不错的菜;如果你是大师傅(研究者),就可以自备独特的食材和调料,炒出一份米其林餐厅标准的菜。

用王者 AI 团队的话说就是:王者切墩,学生炒菜。



开悟的开放从电子科大、中科大、北大、清华4所学校试点。

同学们学了一个学期,怎么判断学习成果好不好呢?

这个简单,搞一个全国高校的大比赛,谁训练的AI打赢了,就说明谁学得好呗!这就是“开悟多智能体强化学习大赛”

第一届比赛定在2020年8月开锣,初赛是单挑,复赛是团战。每个参赛队必须用一套模型来控制所有指定英雄。

黄蓝枭原本还很担心同学们参赛的热情不高。花了这么大的成本,万一冷场了多尴尬。。。

但,他多虑了。

学生们的血液都是100度的,听说要争胜负,还是打王者,一下子都来劲了。一开始是本科生,后来连硕士、博士都闻风而来,各种压箱底稀奇古怪的脑洞招式全掏出来招呼。


杨巍在给第一届大赛季军(中国科学院自动化研究所队)颁奖。


作为评委的杨巍看了大家的作品,简直比喝了浓咖啡还提神。

“在有限的算力下,很多同学做出来的模型收敛速度甚至要好于市面上一些主流模型。这说明在模仿学习和强化学习上,我们远远没走到头,还有很多技术空间可以拓展。”他感慨。

第一届比赛在高校中一炮而红。到了第二届,参赛队伍猛然扩充到了二十几支,上次失利的队伍要“血洗前耻”,上次赢的队伍想“卫冕成功”,上次没参赛的说:别争了,冠军在此。

第二届比赛的现场转播


AI 是冷血的,但训练 AI 的人却是有血有肉的。

清华大学的选手邵键准对他们训练的鲁班的“成长过程”如数家珍:“从一开始被对面AI胖揍,到后来只掉一管血,最后甚至扭扭屁股走位就躲掉了对面的技能,AI成长的过程,也是对我自己的鼓励。”

中科大的赵鉴养成了一个习惯:总爱亲自上阵和自己的AI对战。“从一开始虐 AI,到后来开始打不过自己的 AI,这个过程回想起来是一件很浪漫的事。”他说。

四川大学的刘朋森评价自己的参赛历程,用了简短几个词:创造生命、望子成龙、欣慰、奇妙。

让他们把训练 AI 的过程和生活对比,有人把训练AI比作爬山,有人比作马拉松,有人比作训练神奇宝贝,还有人比作吃火锅——遇到不同的问题就像吃不同的菜,总之最后所有的菜都要吃完,而且吃饱了就很满足。。。

但更多的同学都把自己的 AI 看成孩子。有趣的事情恰恰在此:他们在自己还是孩子的生命阶段,就提前学会了对一个新生命的呵护、希冀、包容和祝福。


学术交流环节


而黄蓝枭注意到一个细节:战队选手中有很多非人工智能专业的同学,他们的热情一点都不比科班同学低,作品也很优秀。

赛后不久,开悟团队的邮箱突然收到一封来自高中生的邮件。这个同学说自己对AI很感兴趣,但苦于还没上大学,想问问去哪里可以用到开悟。。。

对于人工智能的热爱其实根植于很多人的心底,只是因为过去缺乏一个既有趣又好用门槛又低的学习平台,很多本来应该进入人工智能领域的人就这样错过了,这太可惜了。

黄蓝枭感慨。

这些反馈给了开悟团队极大的鼓舞。比赛刚一落幕,开悟团队又开始马不停蹄地走访更多学校,扩大开悟的落地范围。

就在不久前,黄蓝枭和杨光一起做了个重大决定:他们准备找合适的时机把《王者荣耀》的“游戏内核+开悟平台”打包公开出来,让更多对AI感兴趣的研究者(无论什么职业、年龄、背景)都可以下载回来做研究。

开悟正试着创造一个“人工智能面前人人平等的世界”。



(六)一个“游戏”的使命 


虽然缓慢,但预言正在成真。

2022年,西南交通大学计划开展一个研究:把源于开悟平台的人工智能模型迁移到了智能交通灯的控制。

王者荣耀的英雄们不在虚拟空间里游走,而是钻进了信号灯;他们的任务也不再是打团推塔,而是协作指挥交通、控制车流,在真实世界里输出服务。



在这一刻,“孙悟空”终于可以喊出:I'm Real。

黄蓝枭告诉我,西南交大项目只是一个开始,类似的“产业+开悟”合作还有好多好多,但大都在陆续展开阶段,现在还不方便透露,大家敬请期待。

杨巍告诉我,如果看向技术的未来,《王者荣耀》对人工智能的贡献可能远不止于此。

例如在“内容生成”方向,目前前沿的研究可以做到让 AI 根据角色设定自动生成对白,也可以根据模型智能生成步态、行为。

如此一来,过去通过“真人+动捕+纯人工修正”来做的 NPC,未来都可以用人工智能生来辅助制作,既省时省钱,又提升效果。

这些技术同样可以脱离游戏,帮助制造未来的“服务机器人”或“形象更友好的机器人”。



而在“智能决策”方向,即便绝悟已经打遍天下无敌手,但放眼未来,它仍在“婴儿阶段”。未来可做的事情还有很多。


第一个就是:“博弈场景”。

你有没有发现,游戏和游戏其实是不同的?
围棋、《王者荣耀》所代表的游戏类型是竞技性的,这种游戏背后的逻辑是只要我的“绝对战力”比对手强,就能击败对手。
但还有一种游戏是博弈性的,比如猜拳、麻将。没有一种策略可以稳赢,我能不能赢取决于对手做了什么。

杨巍说。

这种博弈游戏的奥义,是要 AI 来分析不同策略的“抗性”。

用这种游戏训练出来的 AI,未来可以辅助国际商品贸易、拍卖、市场预测等强博弈的现实场景中。



第二个是:“拟人化”。

在很多游戏中,真人玩家的目标可能不仅仅是“赢”,例如很多人喜欢玩出自己的风格,或者打出某种画面。

所以,人工智能也不应该仅仅局限于“如何赢”这一件事上,怎么打得有趣、漂亮,其实是更难的研究方向。

比如在王者中,有养猪流,就是4个人围绕一个人;有野核流,以打野为核心,还有鬼谷子体系、大乔体系等等。
其实完全可以通过调整奖励值来训练不同的“AI 风格”,这些训练经验未来就可以发展成人工智能的性格和情感。

杨巍说。

我们从腾讯 AI Lab 在2021年发表的论文中可以看出有趣的东西:

红色区域表示“强化学习 AI”会选择的打法,橙色区域表示人类玩家会选择的打法,而蓝色区域就是调整不同风格后 AI 学会的打法。

可以看出,“蓝色AI”掌握了所有流派的打法 。



第三个是:“人机配合”。

现在的游戏 AI 很多都用于“AI+AI”的配合模式。但在真正的生活中,“人+AI”配合的情况才是多数。

比如你在打王者荣耀的时候,有时会和队友说:我要发起进攻了!这时候队友就知道了你的意图,当然他可以选择和你一起来,也可以选择不跟你来。
同理,你也应该可以和 AI 配合,你说你要发起进攻,AI也可以根据它对形势的判断,选择跟不跟你上。

他说。

“AI还可以不听指挥么?”我惊讶。

“当然了,这种情况下人和AI是合作关系,不是操控关系。这种合作的效果可能比‘百分百服从’更好。”他说。

我脑海里突然浮现出一个画面:也许将来 AI 机器人可以代替警犬和人类一起工作,它们有自己的智慧,有自己的性格,有自己的判断和原则,也有一颗独特的勇敢的心。

反正肯定比边牧强。



然而在我看来,真正科幻的是:一个曾经被很多人冷眼看待的游戏,通过这种方式和国家的科技硬实力血脉相通,息息相关。

虽然不一定人人可以参透,但某些东西命中注定:

当一个既有趣味性,又包含丰富的变量和操作接口的游戏杀出重围,成为十几亿人熟悉的“全民游戏”那一刻起,就没有谁比它更适合成为“AI 多智能体”的研究平台了。

从这个角度看,让《王者荣耀》成为人工智能发展历程上的一部分,已经不仅仅是腾讯的选择,恐怕更是腾讯的责任。



(七)当王者荣耀成为“玫瑰园” 


在我和黄蓝枭聊天的过程中,他总强调一个词:“自主 IP”。

意思是,王者荣耀是中国人自研的游戏,其中的形象也都是以中国文化和美学偏好为出发点所创造的。

但我很不解:一个“打游戏的人工智能”,或者一个“AI研究平台”,研究不是底层技术么?至于它操纵的是关羽张飞妲己貂蝉还是什么虫族兽族巫师,这有啥区别??

“不,有很大的区别!”黄蓝枭坚持。

我们做的虽然是技术,但技术的背后更是文化。
你有没有注意到,很多70后、80后甚至90后,他们一想起曹操,那个形象其实是日本人心中的曹操形象。原因很简单,我们儿时玩的三国游戏很多都来自日本,所以美学定义也同时被日本掌握了。

他说。

黄蓝枭


同样,AlphaGo 是人工智能历史上里程碑的作品,但是,它却很难有一个贴切的中文译名。仔细辨认,你不难在“阿法狗”这个翻译里发现戏谑和丝丝无奈。再看“开悟”,这却是一个古老的东方词汇,佛教和道教均有释义。

黄蓝枭开始了他的设想:

有朝一日,如果《王者荣耀》和开悟平台成为了国际上最流行的多智能体训练研究平台,那么,附加于人类最先进技术之上的文化角色,就顺理成章的是花木兰,是孙悟空,而不是米老鼠、唐老鸭。
由此,中国文化的包容和闪耀,也一同走向了不分种族肤色,所有人的内心深处,成为科技史中不可磨灭的地层。

黄蓝枭对于王者荣耀的“痴情”,出乎我的意料。我并未设想过一个轻飘飘的“游戏”可以如此重若泰山地驻扎在历史的长河。

但他说服了我。



在我看来,黄蓝枭的终极梦想是把《王者荣耀》从一个“竞技场”变成一个“玫瑰园”。

你在竞技场里获得的,是激情、胜利、热血和快感;但你在玫瑰园里获得的,却是满眼鲜艳,是和芬芳共处的时光,是一段铭记良久的温情记忆。

技术的追求当然没有止境,而把文化融入科技记忆,这条路更是没有终点的。

他说。

告别王者AI这群人,我甚至有点羡慕,羡慕他们所仰望的星空,以及他们短暂的人生里,每时每刻都更加靠近永恒的笃定和浪漫。

不知为何,我突然想起国际象棋大师伊曼纽·拉斯克曾说的一句话:如果宇宙中存在其他的智能生命,它几乎一定会下围棋。

如果宇宙中还存在其他生命,他会不会打王者荣耀呢?

尾图为旅行者一号在太阳系尽头拍摄的地球
(Pale blue dot)




参考论文:
·Hierarchical Macro Strategy Model for MOBA Game AI
https://arxiv.org/pdf/1812.07887.pdf
·Towards Playing Full MOBA Games with Deep Reinforcement Learning
https://arxiv.org/pdf/2011.12692.pdf
·Supervised Learning Achieves Human-Level Performance in MOBA Games: A Case Study of Honor of Kings
https://arxiv.org/ftp/arxiv/papers/2011/2011.12582.pdf
·Mastering Complex Control in MOBA Games with Deep Reinforcement Learning
https://arxiv.org/pdf/1912.09729.pdf
·Learning Diverse Policies in MOBA Games via Macro-Goals
https://arxiv.org/pdf/2110.14221.pdf
·Actor-Criticpolicy Optimization in a Large-Scale Imperfect-Information Game
https://openreview.net/pdf?id=DTXZqTNV5nW

参考视频:
·王者峡谷一条街,打听打听谁是爹?AI是爹
https://www.bilibili.com/video/BV17w411f7Ti?spm_id_from=333.999.0.0

延伸阅读(点击可进入):
·《人工智能杀人回忆》
·《我遇到一群腾讯游戏的老司机》
·《腾讯数据库的三场战役》






给科技以文明


再自我介绍一下吧。我叫史中,是一个倾心故事的科技记者。我的日常是和各路大神聊天。如果想和我做朋友,可以搜索微信:shizhongmax


哦对了,如果喜欢文章,请别吝惜你的“在看”“分享”。让有趣的灵魂有机会相遇,会是一件很美好的事情。


Thx with  in  Beijing

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存