查看原文
其他

AI绘画已经尝试写实动态了!AI动画还实现了技术革命性突破!

wuhu小精灵 wuhu动画人空间 2023-08-26

wuhu专题

文 | Subwater

编辑 | 白白酱


AI的潜力为越来越多的创作者所重视,生成式AI能以怎样的方式融入到制作流程中,成为了当下人们更加现实的考量。

——笔者


前段时间

大家已经感受到AI绘画进化的迅速

AI绘画也卷入了网红圈和Coser圈



就因为这项技术

还引发了史上首起AI绘画诈骗案!


事情是这样的!有人发布了『女仆之夜:金鸡湖游艇Party』,一个席位售卖3000块钱,可以选一位专属女仆游艇陪玩,附带了43张女仆照片,都是性感美女,客服环节也做的非常逼真…



还有专门的金鸡湖女仆介绍手册

多达43张女仆照

文章仅展示其中几张



全是用AI绘画的照片拿来招摇撞骗


这事最后被网友举报到公安部门介入


已经取消了活动




虽然此事已经告一段落

可是网友们的想象力没有停止


他们希望看到AI绘画的写实小姐姐可以动起来


结果...

真的做到了!


来自@Auroro极光女团做的AI绘画写实动作


可以看到除了画面抖动之外


AI绘画的写实效果已经能解决连续动作


技术想象空间已经有很大的提高!


而就在最近


AI动画实现了技术革命性突破!



那么,究竟是怎样的AI动画,令大家感到焦虑,认为动画行业将要面临“挫折”与“危机”,并齐声“惊叫”,而后“沉默”?


暗夜中,一个男人走进教堂,他要与另一个男人展开决斗,而他们竟然是双胞胎兄弟。大战一触即发,你以为他们正准备用武器或者魔法大干一场之时,这两兄弟居然......


石头!剪刀!!布!!!



作品一经发出,便瞬间引起了广泛关注,截至目前为止,油管、推特已合计超过500万关注度,国内亦是如此。





有人认为这将引起动画界的大革新







我们来了解一下制作幕后!




你可能会惊掉下巴!




有人提到了所谓的“动画师焦虑”(或许有人就是抱着看热闹不嫌事大的心态,想知道AI时代下,动画从业人员会不会不知所措、会不会紧张)。


作为一个动画师......这让我感到害怕。我一生都在画画,知道如何在画中重现运动,只是,在几年后,这会被取代。


我感觉到动画行业巨大的不安,就像数百万个声音突然惊恐地哭了出来,并突然沉默了。我担心可怕的事情发生。


下次你们邀请动画师做客时,应该把这个给他们看,并留意他们的反应。



有人认为这更凸显了技术之外的作品核心



也有导演这样说——


网飞动画系列《恶魔城》(Castlevania)的导演Samuel Deats在推特上表达了一连串对“猜拳动画”的看法,他并没有感到焦虑,而是说:



你们不想学习如何成为一位真正的动画师,好,我明白了,但伙计们,你们有很多其它的方式来创作出作品。”


言下之意,Samuel Deats并不认可这种把真人的动作完整拍下来,然后用AI转化之后就称之为“动画”的做法。


同时,他不觉得“猜拳动画”的做法有多“创新”。




那如今AI到底被阻止还是被接受?

一组数据判断真相 


一家素材网站——对AI生成作品持正面态度的Shutterstock,向3000名受访者进行了一次调查,是关于生成式AI的使用情况及对其的看法。


结果显示,超过半数受访者表示有意愿学习AI,有高达8成以上的受访者清楚生成式AI是怎样一回事,45%的专业使用者已经或正在使用AI,35%的一般使用者已经或正在使用AI



Netflix Japan近期就用AI来作出了一次尝试。它与AI技术开发商Rinna、曾制作过《进击的巨人》系列的WIT STUDIO合作,推出了一部名叫《犬与少年》的动画短片。该短片的背景是通过AI生成的。


Runway开发的AI影片生成技术Gen-1,使动画制作变得更加简便。用户可以上传文本、图像和视频,生成风格化动画短片,其运作的方式是复制真人动作并将其转化为动画。



文章开头所述的,制作了“猜拳动画”《ANIME ROCK, PAPER, SCISSORS》的团队是Corridor Digital,还记得大概3个月之前,一段在网上走红的、将众多不同时空的蜘蛛侠聚到一起“手指指”的同人视频吗?对,那也是Corridor Digital愉快玩耍后的成果。



至于这一版的“蜘蛛侠全宇宙”的幕后情况,是这样的,Corridor Digital的成员Dean想要快点看到《蜘蛛侠:平行宇宙》的续集,等不及的他决定通过一些技术来自己做“续集”:



稍微更具体地来说,他找上其他成员,通过后期特效复制了《蜘蛛侠:平行宇宙》的动画风格,再通过Stable Diffusion将《蜘蛛侠》真人电影系列的一些片段,以及Dean换上蜘蛛侠服装后拍出来的东西,转换为动画风。接着,他们尝试找全所有版本的蜘蛛侠,去扩充蜘蛛侠多重宇宙。


有网民对此感到惊喜:


《蜘蛛侠:平行宇宙》是那种你可以看出是用爱而不只是用钱制作的电影。Corridor Crew制作的所有内容也都是出自爱,这真的很有意义。你们把和朋友一起玩耍的爱好变成了职业,并投入了心血!太棒了!


看到Dean主导的这一集真的很有趣。我肯定希望看到更多探索其他创意风格的视频。


有趣的是他说他们什么也没做。短片中每一帧都包含了大量的内容!他们本可以只发布一些由AI生成的场景,而我们仍会观看,但是Corridor Crew总是超出我们的期望,为我们提供高质量的内容,而且完全免费。你们的努力应该获得回报。



AI生成图像+虚幻引擎

暗黑奇幻风动画是这样诞生的


人类有表达的欲望,要将脑中的想法,透过各式各样的方式体现出来,并让其他人感知得到。Corridor Digital的成员Nico——一个留着浓密胡子、满头金发的男人,他也主张创作应该是低门槛的,所以他们整个团队想试验出新的方法,让人们即使在没有很多预算、也没有成熟技艺的前提下,也能制作出属于自己的动画。


Nico认为,这样才会真正实现“创作自由”



那要如何开始着手制作呢?首先Nico用到了机器学习当中的扩散模型(diffusion model),它可以将模糊的、充满杂讯(噪点)的图像生成为清晰的、精细的图像。


视频是由一帧一帧的图像组成的,要完成一段动画,Nico和他的伙伴们选择将实拍照片噪点化,这样处理的目的,是要让扩散模型完成去噪,然后生成风格化的图像,再补充一些原本没有的细节。这个过程,在Nico看来,就有点像是人们偶尔抬头凝视云朵时,会根据云朵的形状,脑补出具象化的东西,比如一只白色的神兽



单张图片如此处理是没有问题的,可视频的话,图像与图像之间会发生闪烁。


解决画面闪烁问题的关键,Nico从更早之前的一段发布于YouTube的“塞尔达版”《侏罗纪公园》同人动画短片中获取灵感。在这段实验性的视频里面,画面确实不会出现明显的闪烁,可帧与帧之间的连接并不顺畅,时常有奇怪的扭曲,细节也不一致。



Nico觉得问题可能出在图像的随机噪点(random noise)上,所以他一顿操作后,噪点就不再是随机改变每一帧了,如果两帧图像的内容几乎相同,它们的噪点化方式也会一样。


画面稳定的问题得到进一步的解决之后,接下来是风格化。这就有一点像是动画制作流程当中的角色设计——给实拍照片中的人物换上合适的“动画皮囊”。


为了实现Nico心中最想要的“动画皮囊”,他决定与团队成员一起,训练出一个能生成特定动画风格的扩散模型


已经有技术达人开发出相应的扩散模型,

以将图像转变成特定风格。


要让画面做到不闪烁,身为视觉特效从业者的他们,还找到了一件重要的武器——在DaVinci Resolve中应用了D Flicker插件(DaVinci Resolve是一款可以将编辑、色彩校正、视觉效果、运动图形和音频后期制作结合在一起的软件)。通过这个插件,可以消除闪烁的光线。


角色一致性的问题终于得到解决,Nico身边的小伙伴们都嗨翻了。



下一关,是故事设定以及拍摄原始图像,喜欢玩新意的Nico想要来一场特别的“石头剪刀布”游戏,这场游戏的参与者,是两位双胞胎的王子,他们必须等到国王驾崩,才可以去争夺王位——谁猜拳赢了,他就是下一任的王。


两位王子分别由Nico和Dean扮演,他们拿着写好的剧本,到录音室配音,期间,两人发出了夸张的大叫声。接着,Nico和Dean购入了“戏服”,一边在绿幕前做嘴型(像木偶那样),一边用尽毕生所学,摆出各种动画漫画中常见的耍酷姿势。



上文所提到的通过训练模型,将原始图像转换成特定风格图像的过程,具体要如何实行?在绿幕拍摄时,除了制作动画所需的照片,Nico他们还拍下不少脸部照、全身照、背面照等等。


至于要让模型学习怎样的动画风格,Nico所选取的作品是《吸血鬼猎人D:妖杀行》(Vampire Hunter D: Bloodlust),他们捕捉不同角色的不同画面,包括一些面部画面、躯干画面、全身画面、手、头发,以及花朵等物体。


等到AI掌握了这些图像都是以哪种风格绘制的之后,新的问题浮现——《吸血鬼猎人D:妖杀行》里没有满脸胡须的角色,而Nico有。


《吸血鬼猎人D:妖杀行》




因此,Nico另外再生成了一些以他的长相为基础的图像,并补充回数据库中,再次训练模型。


是时候可以告诉AI把实拍照片变成动画风格了,Dean利用Stable Diffusion,根据提示词进行图生图(img2img)的步骤,生成“动画皮囊”,接着再修改微调。


消除闪烁的插件在这个时间点派上用场,然后就是抠绿幕,移除背景,将帧率从每秒24帧降低到每秒12帧,看起来更像动画,进一步减少闪烁感觉。角色的部分算是完成了,场景以及美术背景的部分呢?



Sam搭建了哥特式教堂的场景并通过虚幻引擎进行渲染,他还在场景中架设了多部不同角度的摄影机,之后,他截取了各种视角的教堂平面图,以用作动画的背景。这些背景图也要过一遍Stable Diffusion,Sam让AI生成出90年代日本动画的美术背景风格



角色层做好了,背景层也做好了,接下来进入到合成与后期摄影的环节,这部分也是由Dean负责。当镜头像是围绕着角色旋转时,Dean先是给背景添加动态模糊等效果,然后为了凸显角色的气势,所以在角色做动作时添加速度线,而在前景的部分,他把原本3D的烛台做成2D动画的样子,并加入到里面。



最后,Dean添加上胶片摄影机滤镜,因为以前的日本手绘动画就是用它来拍摄的。他试图透过一系列的操作,使得成品更像《吸血鬼猎人D》这样的经典动画。


所有的制作工序都结束后,团队成员聚在一起高兴地享受着他们花费两个月时间打造的动画。


完整版制作幕后


它真的“永久改变”动画制作流程?


《ANIME ROCK, PAPER, SCISSORS》真的永远地改变了动画?


回应这个问题之前,我们先去看看这部动画短片本身的质量。首先从一些观众的评价来说,用猜拳来争夺王位这个创意是具有亮点的;然后镜头的设计确实体现了Nico他们的想法,至于燃的部分,后期特效的作用明显。



但不足的地方也是有的。例如,虽然经过了修改和微调,角色画面不稳定的情况偶有发生;又例如,Dean扮演的白衣王子败给了Nico扮演的黑衣王子后,他卧薪尝胆的片段中,角色的形象出现不同的版本,这在设计的角度上,无疑是失误。



而且,从Nico对制作流程的讲述中,我们可以知道的一点,是他们不想将动画弄得太复杂,所以用了简化的、取巧的办法,先不论动机,从结果而言,猜拳这个点子确实代替了肉搏的打戏(更别说为了体现打戏的精彩程度与破坏力,所专门绘制的特效动画以及背景动画)。


Corridor Digital模仿的是日本经典的二维动画,与其说他们“永久改变”动画制作流程,倒不如说“猜拳动画”仍是在之前的那种动画制作流程框架下。一般而言,在前期阶段,一部动画需要先立项,然后进入到角色设计、故事设定、剧本创作、分镜绘制环节。


来到中期阶段,主要是画面设计(Layout)、原画、动画、背景作画等环节,后期则是摄影(合成)、画面编辑、录音、音响制作、视频编辑等。



Nico等人所作出的尝试中,最为核心的,其实是他们将分镜绘制到中期作画的步骤,先后通过绿幕前的实拍、Stable Diffusion以及虚幻引擎来代替,他们这样做的目的一如Nico最初所主张的——降低技术门槛,达到“创作自由”。


改变的意思是指让人事物产生显著的差别,那另一个问题就来了,“永久改变动画制作流程”中的动画,是指二维动画?三维动画?定格动画?还是其他不同形式的动画?


Stable Diffusion等AI工具现时能够为强调传统手艺、强调媒材物质属性(如《天竺鼠车车》中那种毛绒绒的质感)、尝试非常规方式(如在石板上绘制)的动画带来改变吗?



动画安妮奖的选择


最近,被成为“动画界奥斯卡”的第50届安妮奖公布各个项目的得奖结果,从获奖数量上,名导吉尔莫.德尔.托罗的定格动画新作《吉尔莫.德尔.托罗的匹诺曹》成为最大赢家,获得最佳动画长片、最佳导演、最佳角色动画、最佳美术设计、最佳音乐


此外,另一部将定格动画与真人实拍相结合的电影《穿鞋子的贝壳马塞尔》获得最佳独立动画长片、最佳编剧、最佳配音



媒体接连以AI作为话题进行报道的同时,安妮奖却作出这样的选择。我觉得,一方面从作品本身来说,陀螺版《木偶奇遇记》和A24出品的《穿鞋子的贝壳马塞尔》,都做到了在取悦观众的同时,分别不同程度地展现了定格动画的实验性


《吉尔莫.德尔.托罗的匹诺曹》


《穿鞋子的贝壳马塞尔》


另一方面,在一众三维动画面前,安妮奖或许想要再次提醒动画观众,动画的世界原本是丰富多彩的,不同的创作者,对动画、甚至对艺术,是有不同的态度和观点的,而正因为创作者之间的不同,才产生了不同方向的作品,竞相争奇斗艳


托罗导演日前在接受媒体Decider采访时表示:“我认为艺术是灵魂的表达,在最好的情况下,它包容了你的一切。因此,我消费和热爱人类创作的艺术,并且被那些艺术完全打动。我对机器制作的插图不感兴趣,也对从信息中推导出来的东西不感兴趣。”


吉尔莫.德尔.托罗


所谓的“创作自由”,除了使用某些免费工具、透过某些开源项目来便捷地产出作品的自由以外,还有真心相信某种信念,不受某些流行趋势干扰,并专注于自己创作的自由。



你为什么想要看动画?


回到观众的立场,AI动画的出现与发展,可能会让我们回想起想要看动画的初衷。


有人或许是因为动画世界中轻松愉悦、简单舒心的那一面,而选择看动画;有人或许是因为美型的、耍酷的、可爱的角色造型,以及令人过目难忘的动作设计,而喜欢看动画;有人或许是因为动画的知名度或者热度而去看的;有人或许只是为了看故事,至于是不是动画,并不重要......


把真人的表情以及动作几乎原原本本地通过AI转换成某种风格、带有模仿痕迹及复古感的动画,真的是你最想要的吗?


如果这不是你最想要的,你认为AI以后要如何融入动画制作流程,才会更满足你呢?


有制作团队将原创的角色设计图投喂给AI技术LoRA,再根据提示词生成需要的图像,以解决繁杂的工作,这会是你更想看到的尝试吗?



最后扯远一些,将来有人试图用AI来重塑人们的世界观,我们会怎么面对呢?大家可以来评论区一起聊一聊!




技术协助:ChatGPT、Glarity-Summary


参考资料:


1、Corridordigital.com

2、Corridor,ANIME ROCK, PAPER, SCISSORS

3、Corridor Crew,Did We Just Change Animation Forever?

4、Corridor Crew,We Put TOM HOLLAND into the SPIDERVERSE

5、映CG,动画制作新革命!国外团队推出AI视频生成技术Gen-1,可将真人影像转化成各种风格的动画

6、映CG,超过半数人想学AI?实际调查3000名受访者,AI现今及未来使用趋势带你一次看

7、映CG,日本Netflix推出AI绘制背景的动画短片《狗与男孩》,在推特上引发争议

8、映CG,奥斯卡大热门《吉勒摩·戴托罗之匹诺曹》导演聊 AI:「永远热爱人类创造的艺术!使用 AI 创作电影简直是对生命的一种耻辱!」

9、映CG,「AI并没有取代艺术家,反而让团队更专注设计与故事上」专访木下曰本,畅聊如何将AI技术LoRA导入动画制程




—END—



想了解更多动画资讯与有趣内容?添加wuhu小精灵5号企业微信(17778021721) 发送“动画新势力”即可在不久后被邀请进群。



你一定还感兴趣:

全球首例法院裁定:AI绘画不算创作者!作品不受版权保护!


独家专访 |《小妖怪的夏天》美术总监专访来啦!你好奇的幕后故事在这里!

北大人工智能艺术实验创作研究者用AI全流程创作了一部爱情动画!


AI绘画已经攻克了「画手」和「改变姿势」用AI绘画美女搞“女仆之夜”诈骗?!如何用AI防止AI滥用啊?

AI绘画已经卷入网红圈和coser圈...



想了解更多后续的介绍要锁定wuhu哦,微博的小伙伴可以关注我们的新浪微博:wuhu动画人空间,对了!如果你想看更多动画作品,去b站搜索wuhu动画人空间看看?


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存