查看原文
其他

爱搞“黑科技”的原力又放大招!全新重光照4D扫描技术重磅登场!

wuhu小精灵 wuhu动画人空间 2022-12-28

wuhu专访


什么!!爱搞“黑科技”的原力又放大招啦?!

 


近日原力数字科技宣布自研出了全新重光照4D扫描技术


能使每一帧都是一个扫描出来的高精度几何模型扫描精度可达皮肤毛孔级别;能有更多的过度POSE选择让后期呈现的虚拟效果更贴近原本的演员表演



这也是

行业内第一家自主全流程的

重光照4D扫描系统

 

可能小伙伴们还不太清楚其中的意义


下面我们先来简单介绍一下


早在2019年,原力已经自主研发出重光照扫描系统,能够以超高的帧速率,采集高精度面部动态几何模型并生成Normal贴图、Specular贴图、Diffuse贴图;
它能够捕捉演员表演时细微的表情、肌肉和褶皱、血管显现等真实的物理变化,让模型扫描能够得到直接可用的高质量素材,大大降低了相关制作难度和复杂度,极大地缓解了国内动漫行业精英人才匮乏和制作成本过高的难题。



现在依托于多年沉淀的动画模型制作技术和传统单反矩阵扫描,在重光照系统的基础上,原力尝试创新在原本的基础上加入时间轴的概念,最终得到了这套能使每一帧都是一个扫描出来的高精度几何模型的,这也是行业内第一家自主全流程的重光照4D扫描系统。


以传统扫描、重光照扫描、全新重光照4D扫描的优势对比来看:


 传统扫描VS重光照扫描 

传统扫描:只能得到一张混合着高光和阴影的颜色图,贴图需要手动擦除高光和阴影,且无法彻底去除。

重光照扫描优势:可以同时采集颜色图、高光图、法线图、次表面散射图(针对半透明物体)等材质信息,并将计算出的模型依次贴图、加上纹理、去高光、加上法线以及最终合成为整体模型一键化完成,模型质量更高,工作效率也大大提升。



 重光照扫描VS重光照4D扫描 



重光照扫描:只能捕捉单帧内容。


重光照4D扫描优势:加入时间轴概念,使每一帧都是高精度几何模型,扫描精度可达皮肤毛孔级别;能有更多的过度POSE选择,让后期呈现的虚拟效果更贴近原本的演员表演。


我们还了解到,要实现这样的4D扫描,需要高帧速率、高分辨率的视频采集系统。


为此,原力自主研发设计了一套直径3.5米的球形矩阵光照空间,用331块编程Light Force照明灯板来保证照明的绝对均匀和同步。同时采用了3台高速工业相机、52台单反相机进行视频采集,高亮度快闪灯头进行同步照明。随着技术的一次次的迭代和更新,目前可以做到以25,30,60,fps来进行数据采集,最高分辨率可以达到3840×2160



此外,原力的这套重光照4D扫描系统能够输出4D高精度几何模型和8k贴图,扫描精度能够达到皮肤毛孔级别,最高可以输出一千万面精度的几何模型,也可以根据项目的需求生成低面模型和normal贴图、specular贴图、diffuse贴图。

 这套扫描系统  制作流程是怎样呢?
重光照4D扫描系统,首先采集4D扫描的原始数据,然后经过传输、输出序列帧、对齐帧、分别计算点云、生成高精度几何模型、生成高精度贴图、拓扑模型等一系列的流程。最终就可以输出高精度面部几何、normal贴图、diffuse贴图、specular信息等素材。



 这套扫描系统  能为我们带到哪些便利呢?
在动画领域,它能有更加真实的模型blends制作;在如今大热的数字人领域,它缩短了制作高精度写实数字人的周期,简化了制作流程,增加数字人表情的精度和细节,最大限度还原演员真实的细节;而在游戏领域,重光照4D扫描系统可以让美术资产的制作流程更加简便,提升制作的效率,提升角色的细节,增加游戏的真实性
说了这么多是不是还想了解
这套扫描系统的优势在哪里?使用成本如何?如何把控采集数据?如何匹配pbr规范?
本期wuhu专访我们邀请了原力数字科技重光照4D扫描技术开发团队,以及在VR领域研究超过七年的中国传媒大学教师高尔东老师,一起聊一聊这套扫描系统幕后的开发以及如何运用等问题。



WUHU Exclusive Interview

wuhu专访第356期


嘉宾 | 原力数字科技

采访 | 高尔东

编辑 | 新桥别亦




Q:请问怎么看待动态所谓“体视频”的发展?如类似谷歌的relightables 等对比,咱们的优势在哪?
原力:动态体视频是在传统的3D扫描基础上添加了时间线,使每一帧都是扫描出来的高精度几何模型,生成几何模型序列的技术,这些几何模型连续播放起来就能够让我们任意角度观看模型。
基于多机位相机拍摄的动态体视频在精度上可以到达影视级别,记录演员的动作神情也更加自然流畅,能够达到百分百还原。体视频技术相当于是集雕刻建模+贴图绘制+表情捕捉于一身,而所花费的制作时间大大减少。体视频在电影制作、虚拟现实、数字媒体、影视表演都有非常丰富的应用场景。
原力的重光照4D扫描技术起步相对relightables较晚,relightables使用的采集设备是多组1200万像素的双目结构光相机,而我们使用了52台3250万像素单反相机和3台高速工业相机结合。这样的组合使得我们能够采集到更多细节,在采集到高清的4D元数据的同时又能采集用于重光照计算的环境光照图片,用于生成高精度面部几何、normal贴图、diffuse 贴图、specular信息等素材。



依托于原力在3D动画相关领域的多年深耕,我们拥有从扫描到拓扑再编辑,到绑定动画材质渲染的全流程制作经验。支持市面上常见的 3D 软件(Maya、Unity 3D、UE)表情驱动应用。


Q:原力在现阶段是如何改变内容生产与开发的行业流程和模式?


原力:经过我们的多次流程测试,现阶段我们的开发流程需要经过:采集4D扫描原始数据、传输、输出序列帧、对齐帧、分别计算点云,生成高精度几何模型,生成高精度贴图、拓扑模型等一系列的流程
传统行业流程是拍摄多个单帧pose来制作blendshape表情模型库,用来驱动虚拟角色的表情。而重光照4D扫描系统计算出的模型,可以直接生成带有表情动画的模型,既可以在此基础上进行再编辑和修改,也可以根据需要将关键帧提取出来制作blendshape。
这样制作出来的blendshape有更自然的过渡和更真实的皮肤褶皱。能够捕捉真人说话及日常表情面部细微变化,使虚拟角色的表情神态更加真实还原。

这样的流程在制作写实数字人、虚拟角色时非常方便。以传统流程制作虚拟角色,需要从雕刻建模到贴图绘制,再到绑定动画和渲染,至少需要一个月的时间,并且效果远不如扫描来得真实,容易产生恐怖谷效应,无法还原真实演员的动作和表情细节,很难做到真实,永远无法做到相同。
4D扫描技术缩短了制作高精度写实数字人的周期,简化了制作的流程,增加数字人表情的精度和细节,最大限度还原演员真实的细节,捕捉演员表演时细微的表情、肌肉和褶皱、血管显现等真实的物理变化。


Q:该项技术可以让模型扫描能够得到直接可用的高质量素材,能解决很多技术、人才和成本的问题,我们想了解一下成本。一方面是整套系统的运行与开发成本,是否已经大幅度下降呢?对于开发者来说,具体要多大体量项目是符合其所能承担的成本。另一方面是数据量级,关于扫描精度与数据量二者的关系是如何?


原力:因为整套流程都是自主研发的,所以研发的成本还是相对较高的,例如编程Light Force照明灯板,定制的高速工业相机,定做的球形矩阵光照空间,用于同步的触发装置。随着重光照研发的逐步完善,开发成本较研发开始时有小幅下降。

主要用于高精度写实数字人、动画番剧、影视项目,随着技术的不断迭代更新,未来虚拟现实、服装设计、体育赛事、医疗等领域都能够通过重光照4D扫描技术来实现预期效果。
扫描精度和前期拍摄的数据量成正相关:相机的数量越多,则同时能够获取的元数据就越多,扫描的精度和细节就越高。拍摄的元数据时长越长,我们能够从中获取的关键pose就越多,但随着元数据的增加,解算的时长也会随之增加。
经过我们的测试,现使用66台单反相机和5台高速工业相机来进行拍摄,做到以25,30,60,fps来进行数据采集,最高分辨率可以达到3840×2160,能够达到精度与数据量之间较好的平衡。


Q:这项技术与传统动捕采集的数据体量相比,显然大得多,对于开发者是需要如何把控的呢?针对扫描出来的数据微调和修改的手段和能力多大?


原力:重光照4D扫描的数据量大概是传统3D扫描数据量的1000倍,目前采集数据体量无法缩小,我们的TD部门开发的一系列针对元数据的编辑,对齐,排序的插件,解算出的动态几何模型,可以通过重拓扑来进行修改和微调,可以在原始数据的基础上任意修改和调整。


Q:目前pbr流程还是很热门的,请问这套设备输出的内容如何与pbr规范相匹配呢?


原力:重光照4D扫描系统通过331块编程Light Force照明灯板可以模拟各种不同的光照环境,经过软件处理直接生成模型贴图,在各种渲染引擎也都能够兼容,能够更精确地描绘光和表面之间的作用。和传统pbr制作流程相比,不需要去反复调整贴图,不需要再用高模去烘焙贴图,或是手绘贴图,让次世代角色的制作流程事半功倍。


Q:对于VR,AR交互与社交方式的迭代,动态体积扫描在其中的价值不言而喻。对大众来说,如何判断在未来数年内,类似微软“Holoportation”概念的扫描设备的便携性、普及化的设备是否在我们企业的发展考虑范围内,我们需要做什么样的准备,大致迭代周期是怎样的情况?针对原力在后续黑科技的研究上还会有哪些探索呢?


原力:简单来说,Holoportation技术更像是3维版本的facetime。它能够把身处在不同地方的两个人,通过多视角相机取景拍摄,3维建模,然后把模型压缩,实时传输给对方。重光照4D扫描系统的基本实现原理和Holoportation类似,目前我们的重光照4D扫描系统主要着重点在3D影视、动画和虚拟数字人角色制作等领域。
我们未来目标主要是提升扫描模型的精度,制作流程智能化,提升设备的便携性和一体性。原力还在不断地进行技术的迭代和更新,随着技术的不断成熟应用,要想使这项技术普及,我们需要在拍摄制作的流程上再继续做优化,进一步的降低成本,让这项技术能够被更多行业人群使用。

如今,动画的发展已经离不开科技的助力。
近几年,我们也观察到原力作为一家以科技研发、高质量动画制作著称的公司,在行业内已经有着雄厚的实力基础,并以《凡人修仙传》《故宫里的大怪兽》《驯龙记》等作品为观众熟知。在游戏领域更是与育碧、暴雪、EA、网易、腾讯等众多一线公司合作,如《最后生还者1/2》《英雄联盟》《王者荣耀》《战神》《FIFA》《神秘海域》等游戏大作幕后都有原力的参与!
《凡人修仙传》的开播,也是国漫动画新类型的诞生!
在2022腾讯视频动漫年度发布会上,原力还带来了最新动画《修罗武神》和《遮天》:火力全开!百部动画来袭!!腾讯视频动漫年度发布会片单揭晓!!


这次原力推出的全新重光照4D扫描技术,在动画领域又是一项提高动画制作的高效率工具,并且还有望在虚拟现实、服装设计、体育赛事、医疗等领域发挥作用。
未来,也许这项技术将会以更精准、更便携、更智能的面貌出现,且被更多类型的团队运用在不同领域,由此对动画制作工业化的推动力量将会有多少?就看后面的优化更新了。
原力,用动画检验科技、用科技助力动画,这群“爱搞黑科技”的动画人,不停地尝试开发出新技术,也持续地将动画制作提升到新的高度。我们见证并期待着原力在动画技术领域的又又又一次新突破!
等等,为什么是“又又又”呢?
因为我们还介绍过了原力开发的其它黑科技,感兴趣的小伙伴可以通过下面的文章了解更多:
助力元宇宙:基于深度学习的数字人面部动画解决方案!原力放大招!自主研发三项全新技术正式亮相!




—END—
想了解更多动画资讯与有趣内容?添加wuhu小精灵5号企业微信(17778021721) 发送“动画新势力”即可在不久后被邀请进群。
你一定还感兴趣:
火力全开!百部动画来袭!!腾讯视频动漫年度发布会片单揭晓!!

「你的背景太假了?」幕后CG特效揭秘!?97年新疆卖蜂蜜小哥爆红幕后!

 人工智能绘画时代来临,如何用AI绘图辅助做出商业级别的作品?
《电锯人》10月开播!《新神榜:杨戬》近期上映!《双城之战》纪录片首集公开!富坚义博原画展10月开馆!
毕业起点即是迪士尼、EA、工业光魔!如今是皮克斯技术总监!他的优秀是多少人的梦寐以求?
什么「黑科技」?!一键生成火柴人高级动画?1990万粉丝的「火柴人」动画鼻祖原来是他!
拍摄科幻电影还可以这么省钱!?《瞬息全宇宙》团队省钱的黄金秘籍!

《独行月球》原作原来是韩国无厘头漫画家?!漫改电影又玩出「花」了!

迪士尼「头发」制作黑科技大盘点!如何保护好公主们的翩翩秀发?
想了解更多后续的介绍要锁定wuhu哦,微博的小伙伴可以关注我们的新浪微博:wuhu动画人空间,对了!如果你想看更多动画作品,去b站搜索wuhu动画人空间看看?新加入的小伙伴们请注意!往期精彩内容在平台里的wuhu主页上,可别错过哦!欢迎小伙伴们的投稿!
如果你喜欢,请分享给更多人看到:)欢迎留言和wuhu三侠互动

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存