AIGC在游戏行业即将掀起新一轮范式革命

AIGC掀起的产业变革浪潮仍在持续演进中。

自从去年像Diffusion扩散化模型、ChatGPT等大模型走火后，市场上出现了越来越多基于大模型的SaaS应用，像是Jsaper.ai、Runway等。它们的出现，让产业界看到了大幅提升美术资产效率、打造强智能体的可能性。

我们了解到，不少游戏大厂已开始着手开发AI作画、NLP等大模型，内测SaaS应用；中大型游戏厂商则积极接入已有大模型，打造专属的小模型，介入游戏生产流程。

有观点认为，AIGC革命性在于，它不仅节省了时间和金钱，同时也保证了质量，从而打破了成本、质量或速度只能取其一 "的三角关系。它真正具有变革性意义的是：现在，任何人只要学会一些简单的AIGC工具，就能获得这种创造能力；这些工具可以以高度迭代的方式创造出无穷无尽的变化；AIGC一旦经过训练，制作的过程是实时的——即时可用的。 

从长远时间来看，从理论角度进行分析，我们似乎很容易得出上述结论。一线游戏开发者，大厂AI研究人员确实都为之兴奋。可从短期来看，从实践角度进行验证，会发生AIGC当前仍是变革一些可量化，高度确定性的模块，比如图标等。

考虑到数据、算法、算力三架马车推动着AIGC飞速向前，从业者们有理由，也有必要了解这项技术的前世今生。

去年9月，红杉资本官网发表了一篇题为《Generative AI: A Creative New World》的重磅文章，把分成两类：分析型AI（Analytical AI)和生成式AI（Generative AI)。

当前大热的AIGC，即是后者。展开来讲，即基于人工智能技术自动生成内容的新型生产范式，其中，两大核心关键词是AI+新型内容生成方式。

可以明确地说，AI在游戏中的应用并不是新鲜事。即使是早期的游戏，如雅达利的《乒乓》，也有计算机控制的对手来挑战玩家。不过，这些虚拟敌人并没有真正运行人工智能。它们只是由程序员精心设计的脚本程序。它们模拟了一个人工智能的对手，但它们不能学习，且他们无法超越他们的造物主—程序员。

如今，得益于算力蓬勃发展，算法不断精进，人类可以建立大型的神经网络。在高度复杂的领域，识别事物模式和特征，甚至自主处理任务。

观察

正如你所看到的，论文数量正在成倍增长，没有放缓的迹象。需要指出的是，这只是包括已发表的论文，许多研究甚至从未发表，直接用于开源模型或产品研发。其结果是导致对人工智能的兴趣和创新的爆炸增长。

2. 游戏将受到AIGC冲击

在所涉及的资产类型（2D艺术、3D艺术、声音效果、音乐、对话等）的数量而言，游戏是最复杂的娱乐形式。游戏也是互动性最强的，高度强调实时互动体验。

这为新的游戏开发者创造了一个陡峭的进入门槛，也为制作一个现代的、名列前茅的游戏导致了高昂的成本。这也为AIGC的破坏性革命创造了巨大的机会。 

像是《Red Dead Redemption 2》这类3A大作，制作成本高达近5亿美元。玩家在游戏中看到的NPC，实时变化的天气系统、场景等，都需要资金。

据悉，该作拥有1000多个不可玩的角色（每个角色都有自己的个性、艺术品和配音演员），一个近30平方英里大小的世界，6个章节的100多个任务，以及由100多个音乐家创作的近60小时的音乐。关于这个游戏的一切都很重要。

现在，将《Red Dead Redemption 2》与《Microsoft Flight Simulator》相比，后者不仅大，而且很壮光。Microsoft Flight Simulator使玩家能够围绕整个地球飞行，所有1.97亿平方英里的地方。

微软是如何打造这样一个大型游戏的呢？通过让人工智能来完成。微软与blackshark.ai合作，训练人工智能从二维卫星图像生成一个逼真的三维世界。

这是一个例子，如果不使用人工智能，Microsoft Flight Simulator这款游戏不可能研发出来，此外，还得益于这些生成三维世界的模型可以随着时间的推移不断改进。例如，他们可以修改 "高速公路立交桥"模型，重新运行整个建造过程，突然间，整个Microsoft Flight Simulator 里面所有的高速公路立交桥都得到了改善。

3. 在游戏制作中涉及的每一项资产都将有一个AIGC的模型

到目前为止，像Stable Diffusion或MidJourney这样的2D图像生成器，由于其能够生成非常抢眼的图像，从而吸引了大部分人AIGC的兴趣。

但是现在已经有用于游戏中几乎所有资产的人工智能模型，从3D模型到角色动画，再到对话和音乐。

4. 内容的价格将显著下降

当与那些正在尝试将AIGC整合到其生产管道中的游戏开发者交谈时，他们最兴奋的是时间和成本的大幅降低。一位开发者告诉我们，他们为一张图片生成概念图的时间，从开始到结束，已经从3周下降到1小时：减少了120比1。从长远来看，在整个生产管道中也可以实现类似的节省时间。

明确地说，艺术家并没有被取代的危险。这确实意味着艺术家不再需要自己做所有的工作：

他们现在可以设定最初的创意方向，然后将大部分耗时和技术执行工作交给人工智能。在这一点上，他们就像早期手绘动画的画师一样，高度熟练的 "墨客 "画出动画的轮廓，然后由成本较低的 "画师 "大军完成耗时的工作，为动画胶片上色，填充线条。这就是游戏创作的 "自动完成"。

5. 我们仍处于这场革命的初级阶段，很多做法仍需完善

尽管最近很兴奋，但我们仍然只是在起跑线上。在我们弄清如何利用这种新技术进行游戏创作，还有大量的工作要做，而对于那些迅速进入这个新领域的公司来说，将会拥有巨大的机会。

预测

基于以上的观察，以下是对游戏产业可能被改造的一些预测。

1. 学习如何有效地使用AIGC将成为一项有市场前景的技能

我们已经看到一些实验者比其他人更有效地使用AIGC。为了最大限度地利用这AIGC项新技术，需要使用各种工具和技术，并知道如何在它们之间组合转换。我们预测，这将成为一种有市场的技能，将艺术家的创造性视野与程序员的技术能力相结合。

克里斯-安德森有句名言："每一个丰富的内容都会创造一个新的稀缺性"。随着内容变得丰富，我们相信那些知道如何与人工智能工具进行最有效的合作和工作的艺术家将是最紧缺的。

例如，将AIGC用于生产艺术作品将会带来新的挑战，这些挑战包括：

• 连贯性。对于任何生产性资产，你需要能够在未来对资产进行修改或编辑。对于人工智能工具，这意味着需要能够用相同的提示重现资产，这样你就可以进行修改。这可能很棘手，因为同样的提示可以产生截然不同的结果。

• 风格。一个游戏中的所有艺术都要有一致的风格，这意味着你的工具需要经过训练或与你的风格相联系。

2. 降低门槛将导致更多的冒险和创造性探索

我们可能很快就会进入一个新的游戏开发 "黄金时代"，在这个时代，较低的准入门槛导致了更多创新和创意游戏的爆发。这不仅仅是因为较低的生产成本导致了较低的风险，还因为这些工具释放了为更多受众创造高质量内容的能力。这导致了下一个预测...

3. 基于AIGC技术催生的新游戏品类

我们将看到新的游戏类型被发明出来，而这在没有AIGC的情况下是不可能的。我们已经谈到了微软的飞行模拟器，但还会有全新的游戏类型被发明出来，这些游戏依赖于新内容的实时生成。

考虑一下Spellbrush的Arrowmancer。这是一款RPG游戏，以人工智能创造的角色为特色，几乎没有限制的新玩法。

我们还知道另一个游戏开发商正在使用人工智能让玩家在游戏中创建自己的头像。以前他们有一组手绘的头像图片，玩家可以混合搭配来创造他们的头像，现在他们完全可以抛开这一点，只是根据玩家的描述来生成头像图片。让玩家AIGC生成自己喜欢的内容内容比让玩家从头开始上传自己的内容更安全，因为人工智能可以被训练成避免创建攻击性的内容，同时还能让玩家有更大的所有权和归属感。

6.基础模型之上，中间件工具大有可为

围绕Stable Diffusion和Midjourney等基础模型的兴奋和炒作正在产生令人瞠目结舌的估值，但随着新研究的持续涌现，确保了新模型将随着新技术的不断完善而不断出现。

考虑到3个流行的AIGC模型的网站搜索流量：Dall-E、Midjourney和Stable Diffusion。每个新模型都有它的亮点。

另一种方法可能是建立与行业相一致的工具套件，专注于特定行业的生成性人工智能需求，深入了解特定的受众，并与现有的生产管道（如游戏的Unity或Unreal）进行丰富的整合。

一个很好的例子是Runway，它针对视频创作者的需求，提供人工智能辅助工具，如视频编辑、绿屏移除、内画和运动跟踪。像这样的工具可以建立，并且货币化。我们还没有看到像Runway这样的游戏套件出现，但我们知道这是一个积极发展的空间。

7. 法律挑战正在到来

所有这些AIGC模型的共同点是，它们都是通过大量的内容数据集进行训练的，这些内容通常是通过互联网本身创建。例如，"Stable Diffusion "是在超过50亿张图片的基础上进行训练的，这些图片都是从网络上抓取的。

目前，这些模型声称在 "合理使用 "的版权原则下运作，但这一论点还没有在法庭上得到明确的检验。显然，法律挑战即将到来，这可能会改变AIGC的格局。

大型电影公司有可能通过在他们拥有明确权利和所有权的内部内容上建立专有模型来寻求竞争优势。例如，微软在这方面特别有优势，目前有23个工作室，在其收购Activision结束后还有7个。

建议

基于这些预测，我们给出以下建议：

1. 现在就开始探索AIGC

要想弄清楚如何充分利用这场即将到来的AI革命，可能还需要一段时间。现在开始的公司将拥有先发优势。

2.寻找新的市场机会

我们现有市场的某些部分已经非常拥挤，如动画，语音和对话，但其他领域却很开放。我们鼓励对这一领域感兴趣的企业家将他们的努力集中在那些仍未开发的领域，如 "游戏跑道"。

当前市场格局

我们创建了一个市场地图，记录了我们在这些类别中发现的公司名单，我们认为AIGC对游戏产生了影响。展望未来，中国游戏市场大概率也会出现面向细分垂直领域的初创AI公司。

从文本提示中生成二维图像已经是生成式人工智能应用最广泛的领域之一。像Midjourney、Stable Diffusion和Dall-E 2这样的工具可以从文本中生成高质量的二维图像，并且已经在游戏生命周期的多个阶段中找到了它们进入游戏制作的方式。

概念艺术

AIGC工具在 "构思 "或帮助非艺术家，如游戏设计师，非常迅速地探索概念和想法，以产生概念艺术作品，这是制作过程的一个关键部分。例如，一个工作室（保持匿名）正在共同使用这些工具中的几个，从根本上加快了他们的概念艺术流程，只用了一天时间就创造出了一个图像，而以前则需要长达3周时间。

首先，他们的游戏设计师使用Midjourney来探索不同的想法，并生成他们认为有灵感的图像。

这些图像被交给专业的概念艺术家，他将这些图像组合在一起，并在结果上作画，以创造一个单一连贯的图像，然后将其输入Stable Diffusion系统，以创造一堆 可能需要的概念图像。

他们讨论这些图片，选择一个，手动画上一些编辑 ， 然后重复这个过程，直到他们对结果感到满意。

在这个阶段，再把这个图像最后一次传回Stable Diffusion，以 "放大 "它，创造出最后的艺术作品。

二维制作艺术

一些工作室已经在尝试使用同样的工具来制作游戏中的美术作品。例如，这里有一个来自Albert Bozesan的关于使用Stable Diffusion 来创建游戏内2D资产的教程。

三维艺术作品

3D资产是所有现代游戏以及即将到来的元宇宙的组成部分。一个虚拟世界，或游戏关卡，本质上只是一个3D资产的集合，通过放置和修改来填充环境。然而，创建一个3D资产比创建一个2D图像更复杂，涉及多个步骤，包括创建一个3D模型来添加纹理和效果。对于动画人物，它还涉及创建一个内部 "骨架"，然后在该骨架上创建动画。

我们看到几个不同的初创公司在追求这个3D资产创建过程的每个阶段，包括模型创建、角色动画和关卡建设。然而，这还不是一个已经完善的解决方案，没有一个解决方案已经准备好完全集成到生产流程中。

三维资产

试图解决3D模型创建问题的初创公司包括Kaedim、Mirage和Hypothetic，也有更大的公司在关注这个问题，包括Nvidia的Get3D和Autodesk的ClipForge。Kaedim和Get3d专注于图像到3D；ClipForge和Mirage专注于文本到3D，而Hypothetic对文本到3D搜索以及图像到3D都感兴趣。

三维纹理

 一个3D模型的逼真程度取决于应用在网格上的纹理或材料。决定在一个中世纪的城堡模型上使用哪种长满青苔的风化石纹理，可以完全改变一个场景的外观和感觉。纹理包含关于光对材料的反应的元数据（即粗糙度、闪亮度等）。允许艺术家根据文本或图像提示轻松地生成纹理，对提高创作过程中的迭代速度有极大的价值。一些团队正在寻求这个机会，包括BariumAI、Ponzu和ArmorLab。

三维动画

制作优秀的动画是游戏创作过程中最耗时、最昂贵和最有技巧的部分之一。降低成本和创造更逼真的动画的方法之一是使用动作捕捉，即把演员或舞者穿上动作捕捉服，在一个专门的仪器化动作捕捉舞台上记录他们的动作。

我们现在看到生成型人工智能模型可以直接从视频中捕捉动画。这更有效率，因为它消除了对昂贵的动作捕捉设备的需求，也因为它意味着你可以从现有的视频中捕捉动画。这些模型的另一个令人兴奋的方面是，它们也可以用来对现有的动画进行过滤，例如使它们看起来像喝醉了，或者老了，或者高兴。追求这一领域的公司包括Kinetix、DeepMotion、RADiCAL、Move Ai和Plask。

关卡设计和世界建设

游戏创作中最耗时的方面之一是构建游戏的世界，AIGC应该很适合这项任务。像《Minecraft》、《No Man's Sky》和《Diablo》这样的游戏已经因使用程序技术来生成关卡而闻名，在这些游戏中，关卡是随机创建的，每次都不一样，但都遵循关卡设计者制定的规则。新的虚幻5游戏引擎的一大卖点是它收集了用于开放世界设计的程序化工具，例如叶子的放置。

我们已经看到了该领域的一些企业家，如Promethean、MLXAR或Meta的Builder Bot，并认为生成技术在很大程度上取代程序技术只是一个时间问题。这个领域的学术研究已经有一段时间了，包括Minecraft的生成技术或Doom的关卡设计。

期待AIGC工具用于关卡设计的另一个令人信服的理由是创造不同风格的关卡和世界的能力。你可以想象一下，让工具生成一个1920年艳舞时代的纽约的世界，或者是神秘的刀锋战士式的未来，或者是托尔金式的幻想世界。

下面的概念是由Midjourney使用提示生成的。

音频

声音和音乐是游戏体验的一个重要部分。我们开始看到一些公司使用AIGC来生成音频，以对应已经发生在图形方面的工作。

声音效果

声音效果是人工智能的一个有吸引力的开放领域。已经有学术论文探讨了使用人工智能在电影中产生 "假声 "的想法（如脚步声），但在游戏中的商业产品还很少。

我们认为这只是一个时间问题，因为游戏的互动性使其成为AIGC的一个明显的应用，既可以创造静态的声音效果作为生产的一部分（"激光枪的声音，在星球大战的风格"），也可以在运行时创造实时的互动声音效果。

考虑一下为玩家的角色生成脚步声这样简单的事情。大多数游戏通过包括少量预先录制的脚步声来解决这个问题：在草地上行走、在碎石上行走、在草地上跑步、在碎石上跑步，等等。这些声音的产生和管理都很繁琐，而且在运行时听起来重复而不真实。

一个更好的方法是实时生成人工智能模型的声音效果，它可以产生适当的声音效果，在飞行中，每次都略有不同，对游戏中的参数，如地面、角色的重量、步态、鞋类等，都有反应。

音乐

音乐一直是游戏的一个挑战。它非常重要，因为它可以帮助设定情感基调，就像在电影或电视中一样，但由于游戏可能持续数百甚至数千小时，它可能很快变得重复或令人厌烦。此外，由于游戏的互动性质，音乐可能很难精确地配合屏幕上任何时候发生的事情。

二十多年来，自适应音乐一直是游戏音频的一个话题，可以一直追溯到微软的 "DirectMusic "系统，用于创建互动音乐。DirectMusic从未被广泛采用，主要是由于用这种格式作曲的难度。只有少数游戏，如Monolith的《无人生还》，创造了真正的互动配乐。

现在，我们看到许多公司正在尝试创造人工智能生成的音乐，如Soundful、Musico、Harmonai、Infinite Album和Aiva。虽然今天的一些工具，如Open AI的Jukebox，是高度计算密集型的，不能实时运行，但一旦建立了初始模型，大多数可以实时运行。

讲话和对话

大量的公司试图为游戏中的人物创造真实的声音。鉴于试图通过语音合成为计算机提供声音的漫长历史，这并不令人惊讶。公司包括Sonantic、Coqui、Replica Studios、Resemble.ai、Readspeaker.ai等等。

将AIGC技术用于语音有多种优势：

• 即时生成对话。通常情况下，游戏中的语音是由配音演员预先录制的，但这些都仅限于预先录制的讲话。有了AIGC对话，角色可以说任何话，这意味着他们可以对玩家所做的事情做出充分的反应。结合更智能的NPC人工智能模型（在本博客的范围之外，但现在是一个同样令人兴奋的创新领域），对玩家完全反应的游戏即将到来。

• 角色扮演。许多玩家希望扮演与他们的现实世界身份几乎没有相似之处的幻想人物。然而，只要玩家用自己的声音说话，这种幻想就会破灭。使用与玩家的化身相匹配的生成的声音可以保持这种幻觉。

• 控制。当语音被生成时，你可以控制声音的细微差别，比如它的语调、转折、情感共鸣、音素长度、口音等等。

• 本地化。允许将对话翻译成任何语言，并以同样的声音说话。像Deepdub这样的公司专门专注于这个利基市场。

玩家角色

许多初创公司正在研究使用AIGC来创造可以与之互动的可信角色，部分原因这是一个在游戏之外具有如此广泛适用性的市场，如虚拟助理或接待员。

创造可信角色的努力可以追溯到人工智能研究的初期。事实上，人工智能的经典 "图灵测试 "的定义是：人类应该无法区分与人工智能和人类的聊天对话。

在这一点上，有数百家公司正在建立通用的聊天机器人，其中许多是由类似于GPT-3的语言模型驱动的。少数公司专门试图建立以娱乐为目的的聊天机器人，如Replika和Anima，他们试图建立虚拟朋友。电影《她》中所探讨的与虚拟女友约会的概念场景，可能比我们想象的更接近。

我们现在看到这些聊天机器人平台的下一个迭代，如Charisma.ai、Convai.com或Inworld.ai，旨在为完全渲染的3D角色提供动力，有情感，有代理权，有工具让创造者给这些角色设定目标。如果他们要融入游戏，或者在推动情节发展方面有一个叙事性的位置，而不是纯粹的摆设，这就很重要。

一体化平台

最成功的AIGC工具之一是Runwayml.com，因为它将一套广泛的创造者工具集合在一起。目前还没有这样的平台为视频游戏服务，我们认为这是一个被忽视的机会。我们很想投资于一个具有以下特点的解决方案：

• 涵盖整个制作过程的AIGC工具。(代码、资产生成、纹理、音频、描述等。)

• 与流行的游戏引擎如虚幻和Unity紧密结合。 

• 设计成适合融入游戏生产流程的工具。

总结

现在是成为游戏创作者的一个令人难以置信的时代！部分原因是这篇博文所描述的工具使生成构建游戏所需的内容变得前所未有的容易。部分归功于这篇博文中描述的工具，生成构建游戏所需的内容从未如此简单--即使你的游戏像整个地球一样大！

我们可以想象有一天，整个个性化的游戏是为玩家创建的，都是基于玩家的需求。

甚至有一天，可以想象整个个性化的游戏，只为玩家创建，完全基于玩家的需求。

这在科幻小说中已经存在了很长时间--比如《安德的游戏》中的 "人工智能智力游戏"，或者《星际迷航》中的全息甲板。但是，随着这篇博文中所描述的工具进展如此之快，不难想象这种现实就在眼前。