北大人工智能艺术实验创作研究者用AI全流程创作了一部爱情动画！
wuhu专题
文 | Eddy Chen（陈刘芳）
北京大学艺术学院
数字媒体艺术、动画、
人工智能艺术实验创作研究者
这是一次AI动画创作的实验
这更是一场人工智能的人类意识测试
从质疑到思考，AI的诞生
将在人类的文明进程中，爱恨相随
我们或许无法阻止科技变革的来临
却可以掌握自己对待世界万物的看法，
去发掘，去传递。
“地球毁灭前的爱情应该是怎样的？”
这次
听听AI对人类奇妙爱情的理解
《地球爱情终曲》完整成片
全AIGC流程的动画是如何进行的？
AI到底是否能真的带来意想不到的惊喜？
过程中经历了哪些推敲过程？
...
这次
就让我们跟随Eddy老师一探究竟！
2021年下半年起，从CLIP、VQGAN，到Disco Diffusion掀起了人工智能绘画大爆发的开篇，其后Stable Diffusion、DALL-E 2、MidJourney 等AIGC模型的相继出现，再到2022年底亮相的ChatGPT,将人机对话的界面从程序语言过渡到自然语言，这其中的底层技术Transformer 和扩散模型(Diffusion Model) 逐渐迭代成熟，预训练模型的突破和发展实现了技术从量变到质变，让AIGC得以快速的进行落地应用。
wuhu小贴士
AIGC即AI Generated Content，是指利用人工智能技术来生成内容，AIGC也被认为是继UGC、PGC之后的新型内容生产方式，AI绘画、AI写作等都属于AIGC的分支。对AIGC来说，2022年被认为是其发展速度惊人的一年。(来自百度百科)
在这一发展过程中，从文字到画面、语音、音乐等多模态生成值得关注，其为我们带来了一场内容创作的新范式。如果说CLIP是人工智能的识字卡片，率先打通了自然语音的理解和计算机视觉的桥梁，让人工智能“画家”理解人类的需求，通过扩散模型展示出符合要求的画面，那么ChatGPT则补上了故事创作乃到辅助导演工作的关键一环，让机器能够作为人类意识的延伸，也将为更多优质内容创作的效率提升助力。
在这样的背景下，鉴于大家对AIGC目前发展的程度，以及如何在内容行业进行应用还存在很多疑问，受到诸多优秀的创作者的鼓舞，我开始想要通过AI完成这一个故事，看一个全AIGC流程的动画是如何进行的，故事灵感来自于好友的启发“地球毁灭前的爱情应该是怎样的？”
下面我将转换视角，为大家展现动画制作的全部流程，并将全部工具梳理到文章末尾。
首先给ChatGTP提出创作需求：请以地球最后的24小时写一个爱情故事。
（点击查看大图）
鉴于现在的AI动画，人物动作和表情还未能实现精细的控制，AI作为演员在演技派的路上还有许多路要走，我请ChatGPT用第三人称讲这个故事，增加风景部分并减少人物互动部分，然后改写成电影大纲。
（点击查看大图）
ChatGPT果然没让人失望，爱情终曲这个名字妙极。做为早期的创作实验，需要精简下内容，于是我继续追问，这个电影的预告片都会有哪些画面？
在这个回答的结尾，ChatGPT还给我了关于预告片其他方面的一些建议，包括“背景音乐应该以轻柔的方式呈现，主要采用钢琴、小提琴等乐器，用来突出主题，传递深层次的情感。预告片的色调应该以大自然的色彩为主，比如淡绿色、浅蓝色等，表现自然美景，同时也展现出电影中的哲学深度。”ChatGPT的回答中，关注哲学深度这点让我非常意外，于是我想要这个故事更有人情味一点儿，多一些情感共鸣。
（点击查看大图）
看起来非常靠谱了，ChatGPT就预告片的每个段落的起承转合都做出了相应的说明，于是我请它继续，将段落式的答案拆成分镜头的画面描述，因为每次回答的字数都是有限的，就不要再让它做解释说明了，下面是他的回答：
（点击查看大图）
这个回答看起来非常地贴切我的需求，正适合预告片的篇幅。下面的步骤是翻译成英文，因为在接下来的AI动画流程中，各个模型工具都需要以英文作为首选的prompt提示词语言。(prompt,一种计算机语言)
（点击查看大图）
还需要一个旁白的文案，也交给ChatGPT。下面这个回答一点也不精彩，作为一个严格的人类，我再次明确了需求，即“请再诗意一些，感情真挚，凝练，娓娓道来，有哲理性”。
（点击查看大图）
精彩的来了：
“当时间的沙漏开始流尽，世界的尽头却是他们相遇的起点……”这不就是我要的吗！ChatGPT真的懂INFP（调停者型人格）（啊！诗意，情感，哲理都融和其中，可是我还希望ChatGPT帮我升华一下，增加对地球在24小时后即将毁灭的思考，主旨是：死亡同样是新生，而爱会长存于宇宙之中，增加在宇宙尺度下对全人类的思考和启发。
（点击查看大图）
嗯，格局有啦，但有点没人情味，再改！
（点击查看大图）
在这个回答的最后两句中，我深受启发，这个AI价值观是正的！于是把这两次提问的答案综合起来，形成了短片的旁白文案，希望它读起来如同一首优美的散文诗般富有韵律感。
爱情终曲
Love's Last Song
当时间的沙漏开始流尽，
世界的尽头却是他们相遇的起点。
在这片孤岛上，
他们的相遇如同暮色下的灯塔，
给彼此指明了方向。
面对自然的残酷与力量，
他们试图与自然和解，寻找生存的勇气。
他们发现了最珍贵的礼物，
那就是彼此的相伴与扶持。
而当天堂的大门缓缓关闭时，
他们依偎在一起，
用生命的最后一刻见证着爱的不灭。
从沧海到桑田，他们的爱情，
将在这个孤岛上，永不消逝。
在地球最后的24小时里，
他们的故事终于画上了句号。
而这一刻，也是人类历史上最终的谢幕。
然而，在毁灭的背后，是新生的曙光。
我们或许无法掌控自然的力量，
却可以掌控自己的心灵，去爱、去珍惜。
当地球消逝在无尽的宇宙中时，
我们的爱情将成为一颗流星，
穿越宇宙，向着未来延伸。
即使是在宇宙尺度下微不足道的存在，
我们的爱依然会在宇宙中长存。
按照一般内容的创作流程，下面进入分镜阶段，首先尝试让ChatGPT按分镜头对画面进行整理：
（点击查看大图）
这个环节看起来解放了双手，ChatGPT连表格都能包办，但分镜头和表格作为某种经验主义，其实未必适合全AIGC创作流程，在这个过程里面我请ChatGPT就每个镜头再做细化，出现了故事不连贯的问题。AI电影爱情主角最喜欢做的几件事：散步/写信/拥抱/共度一晚......说好的地球毁灭前的24小时呢！
（点击查看大图）
在发现AI套娃开始后转换思路，开始逐个镜头进行细化。
（点击查看大图）
经过提醒，ChatGPT带来的画面描述丰富起来，但这却不符合短片的时长要求，并且讲到最后依然还是会陷入跑题的漩涡。总结起来的效果是这个煞有介事的分镜头表格：
ChatGPT生成的分镜头表（笔者整理）
（点击查看大图）
这个表格只是看起来很美，过于复杂的描述会让AI生成的内容没有我们想要的重点，下面是一些实验过程中的分镜头，但在最后成片中，我并未采取这些画面，这些是试错过程的一部分，也希望大家在用AI进行动画创作时，不要过于拘泥于流程和形式主义。
采用ChilloutMix模型生成的分镜头画面
（点击查看大图）
AIGC的内容创作需要反经验，精简，高效、实用、可控，严格意义来说其实没有什么环节是不能省略的。需要综合专业背景，选择合适的工具进行，实验创作的最终目的还是讲一个好故事。在这个环节进行一些尝试后，直接进入到了动画画面的生成阶段。
首先确认下画面的风格，这几天AI绘画的成果突飞猛进，已经可以画出高拟真的角色了。但时不时会有色色的内容混入，选择二维动画的风格可能更有益于故事内容和情感的传达。
通过筛选，分别在高写实和二次元风格的两个代表，即ChilloutMix模型和Counterfeit-V2.5模型效果的进行实验对比，下面这组是实验对比产物，关键词：女孩、花朵、海边、风。
左为ChilloutMix模型、右为Counterfeit-V2.5模型
经过对比我选择确定Counterfeit-V2.5模型来生成动画。确定模型后，根据旁白的内容结合对画面内容的描述，就可以生成画面了。动画制作主要用到Stable Diffusion中的text to img（文生图）和Defourm（动画）插件功能。通过输入提示词可以让AI画出我们想要的画面，在这里我尝试让ChatGPT学会什么是“提示词”。
（点击查看大图）
直接输入画面描述也可以，这里说明一下，Text to img类似分镜头的环节，不同的是在传统的动画创作流程中，通常要画完全部的分镜再进入中期制作，而AIGC可以选择逐个生成或是一镜到底。
这里我先一次生成8张以上的预览，找到符合镜头内容需求的种子，再用这个种子或是这个种子的生成的一帧画面，来作为动画生成的引导。
（点击查看大图）
如果实在没有满意的，这几天新出的ControlNet用起来，帮我们凹出想要的角色姿态，下面是一个关于拥抱的小测试：
ControlNet拥抱Pose测试
（点击查看大图）
生成动画是一个不断和AI对话，筛选，需要一点儿耐心和运气的过程。这里是我的一些常用的Deforum选项，分别是Run/KeyFrams/Prompts。
在Run选项卡中，采样方法Sampler里默认的 Eular a速度较快，质量也很不错，是相对平衡的选择。步数就是扩散模型的迭代次数，这里推荐20-30，需要说明的是过高的步数和尺寸会让生成速度变得更慢，画面也容易出现过拟合，如果想要更大的尺寸，可以后期再进行画面的放大，Deforum最终生成的动画其实是逐帧序列的连续影像。
（点击查看大图）
在关键帧设置中，可以选择Animation Mode动画运动模式，这里包括2D和3D，在3D模式下控制摄影机运动的方式更接近真实拍摄，即XYZ轴的变量控制，本片中的推拉镜头设计均为3D模式下生成。另外一个值得注意的是最大帧数，就是我们每次要生成的画面数量，合理调整最大帧数可以有效控制生成等待时间。
（点击查看大图）
Prompts通过json控制，其中数字代表帧数，文字代表画面描述。动画的过程就是从初始帧到中间帧的变化过程，这一点和动画基本原理保持一致，探索画面运动中的未知也是动画吸引人的魅力所在。
（点击查看大图）
对反复生成的结果都不满意时，可以请ChatGPT再次精简扼要的描述画面，AI动画的事情我们就交给AI来做，这实验过程中的不断变化让人充满惊喜。
这一段ChatGPT描述了两人共同克服末日的困难，选择效果较为震撼的暴风雨和大地震进行生成，突出自然的力量。
（点击查看大图）
画面中两人相拥，并肩作战，摄影机抬高，远处有一道白色耀眼的光线预示着地球生态正在遭到严重破坏，天堂之门即将关闭。
ChatGPT关于下面这段“在地球最后的24小时里，回忆共同相处的点滴，享受黑暗中最后的宁静”的内容中给到的画面描述：
（点击查看大图）
不断变化着的人们陪伴、依偎和倾诉，暗示本片中的恋人并不特指某对情侣，闪烁的画面却有了一种别样的厚重感。
和平年代长大的我们很难想象地球毁灭前的画面，ChatGPT给出的答案是这样的：
（点击查看大图）
火山爆发、全球冰川融化、飓风肆虐，洪水和海啸席卷了整个地球，太阳将地球吞没。
非常喜欢的最后一段关于宇宙和新生的描述，对应的旁白是“在毁灭的背后，是新生的曙光。”
（点击查看大图）
生成出来的画面也和文字内容极为吻合，随机呈现出了类似传统动画中的手绘效果线，星云和超新星爆发都表现得很好，这在传统动画制作过程中，都是比较考验制作人员能力的镜头类型。最后空间和时间的扭曲变形画面也是在以往的动画制作中很少出现的，这并不是单纯的模仿和拼贴能够实现的。
生成好动画后还需需要声音的搭配，这个步骤根据个人习惯和经验前置或后置均可，我选择前置，因为这能让我在生成的过程中对片子的想要氛围形成概念，从而选择更合适的画面。本片配音来自Elevenlabs，通过选择音色和情绪值，几秒内即可生成一段旁白。
（点击查看大图）
音乐来自AI音乐创作平台Mubert，这里可以根据一段话生成引用，比如Love Story，Hans Zimmer，选择曲风，氛围，如浪漫的电子乐，科幻，电影感。多一些尝试总有你想要的，最后通过Mubert生成了一条1:20的曲子，用来搭配旁白，在生成画面的时候听，氛围感拉满。
（点击查看大图）
谷歌近期也推出了MusicLM，可以更加灵活的根据画面内容，分段控制情绪和氛围。目前MusicLM测试入口还未开放，感兴趣的可以先做了解。
总结一下《地球爱情终曲》的创作过程，通过AI生成了故事、画面、旁白、音乐，这些工具分别是：
脚本ChatGPT
画面Stable Diffusion
模型Counterfeit-V2.5
动画Deforum
辅助ControlNet
音乐Mubert
旁白Elevenlabs
生成工作完成后，通过达芬奇完成了剪辑和字幕的工作，以更精确的搭配画面和旁白。期待之后的剪辑软件也让更加智能化，比如打造出Stable Diffusion的机构之一Runway，最新推出的功能Gen1就值得关注。
AI让我们有机会通过技术的革新，更加自如去选择合适的艺术风格来进行内容创作，希望通过这篇分享，让读者了解全AIGC动画创作过程的全貌。
最后，对于大家可以会关心的问题做个简单说明。
关于AI是否具有创造力？
引用在AI绘画领域独树一帜的Midjourney David Holz的回答。
Every seashell comes from the sea, but is the ocean creative? No.
Every beautiful stone comes from the river, but is the river creative? No, I don’t think so.
Is the system creative? No. Can beauty come out from it? yes.
The creativity of AI is close to the cloud. It has no intention.
贝壳皆来自大海，但海洋非造物者。美石皆来自川河，但河流非孕育者。这套系统并无创造的能力，但美可以来自其中。AI 绘画本质如同行云，TA并无任何主观的意愿。（翻译by海辛）
关于短片的名字《地球爱情终曲》
除了AI带来的灵感以外，也希望致敬我本人非常喜欢的科幻作家亚瑟·克拉克的一部作品《遥远地球之歌》，这也是他一生中非常喜欢的一部，有短片小说，电影大纲和长篇小说的版本，这个故事启发了大刘创作后来的《流浪地球》。虽然这是一部全AIGC流程的作品，但依然凝结着人类充沛的情感，在后疫情时代提醒我们去爱、去珍惜。故事中的爱情并不局限于某对情侣，而是对人类共同情感和信念的体现。
最后
以这部AI动画作为本篇终曲
或许你又会有不一样的感触
《地球爱情终曲》完整成片
本期探讨
你如何看待AI动画创作呢？
—END—
你一定还感兴趣：
高调碰瓷《黑神话：悟空》！？《黑棉花：悟能》先来了！
想了解更多后续的介绍要锁定wuhu哦，微博的小伙伴可以关注我们的新浪微博：wuhu动画人空间，对了！如果你想看更多动画作品，去b站搜索wuhu动画人空间看看？