查看原文
其他

Runway-不止是AI加持的视频创意工具

The following article is from 天南岭北 Author 四方行者

以下为本文目录,建议结合要点进行针对性阅读。

👇

01 Runway简介

02 Runway功能

03 Runway优势

04 一个火出圈的”宣传片“

05 不止是SaaS

06 生于云端的软件

07 总结


01.Ruwnay简介

Runway是一个宣称要成为下一代AI支持的视频创意工具的平台,支持图片、音频、视频的AI辅助编辑及生成,而且还是一个可以进行训练的AI平台。由Cristóbal Valenzuela(克里斯托瓦尔),Alejandro Matamala(亚历杭德罗)和Anastasis Germanidis(阿纳斯塔西斯)三个智利人于2018年底创立,最初是他们在纽约大学(NYU)进行开发的论文项目,他们在此相遇并获得了研究生学位

Runway在2018年获得了Lux Capital的200万美元种子融资,在2020-2022年陆续完成了A、B、C三轮融资,C轮由Felicis 领投,金额达5000万美元,估值5亿美元。
Runway的主要使用人群包括电影制作人、设计师、VFX 和 CGI 专业人士、艺术家、编码员、音乐家、学生和教育工作者等。他们在发展初期获得了来自学术界的良好支持,和美国各大学(如纽约大学,麻省理工学院和加州大学洛杉矶分校)建立了紧密的联盟。而在智利,Runway已在阿道夫·伊巴涅斯大学,拉斯阿美里卡斯大学和加泰罗尼亚教皇大学使用。计算机、设计和艺术工作者,通过和Runway合作,使用RunwayML平台进行图片、视频、音频等方面的AI训练和合成,并使用Runway提供的相关AI工具进行研究和设计。
02.Ruwnay功能

Video Editing

视频剪辑是Runway最主打的功能,基本操作和Capcut类似,不过在其中加入了名为Magic Tools的AI工具插件。主打的AI辅助功能有三个:Green Screen,可以把选择的对象以绿幕的方式作为视频主题剪裁出来,通过点选的方式AI自动帮你补全贴合主题的轮廓;Inpaiting,视频修复功能,类似图片的PS功能,通过手动选择对象范围,将选定范围内的主题删除,并用周围的背景通过AI计算进行填充;Motion Tracking,选定一个视频内的主体,当你添加其他的效果(比如标题)时可以跟随这个主体运动。

Image

图片相关的功能,最主打的就是text to Image,生成图片的清晰度和分辨率还可以,不过和现实的贴合程度,还有待加强。图片中的例子是我生成的哈士奇(prompt:a haski dog)和阿拉斯加(prompt:an alaskan malamute),本来就不太聪明的雪橇三傻,看起来不仅更傻了,而且有“缝合怪”的感觉。

Audio

在音频处理方面,内置了Clean Audio(去噪声)、Remove Silence、Generate Transcript、Generate Subtitles四个功能,看起来是和Krisp及Descript的功能类似。

03.Ruwnay优势

看起来Runway最想做的事情,应该是要抢传统后期处理软件的蛋糕,在创意工具这个领域分一杯羹。Runway最大的依靠是其相对较为领先的AI能力及衍化出来的Magic Tools工具。在视频后期制作中,最耗时费力的大概就是Green Screen(绿幕抠图)及Inpaiting(图像修复)这两项工作,而Runway通过AI工具的帮助,可以节省大量的时间,完成同等效果的工作。
在Runway的官网播客上有两个例子,其中一个是通过RunwayAI工具进行人物框选和Adobe AE工具进行框选的耗时对比(https://runwayml.com/blog/future-of-ai-and-video/)。Runway通过简单的点选和远程计算机处理,只用了5s,而AE工具中的Rotobrush需要多次手工处理和修正,用了大概20s的时间。
另一个例子(https://runwayml.com/blog/introducing-sequel/)则是Runway和传统后期工具的对比。他们首先拍摄了一个小伙子在办公室翻跟头的视频(大概十几秒),需要把人物从背景中剪辑出来加火焰特效。一共4个人编辑对比,2个人使用传统后期软件(1个借助数位板,1个使用传统软件),2个人使用AI软件(分别是Runway和Adobe)。使用AI软件的两个人6分钟完成了制作并导出,Runway的效果更好,而另外2个使用传统工具的则仅仅完成了几帧的抠图工作,进度远远落后。
04.一个火出圈的宣传片

Runway拍了一个特别炫酷的宣传片,短短1分钟的片子,看起来全部使用文字来操作的,输入指令->确认->得到结果,貌似契合了宣传片中的愿景“Edit video using text, Generate video using text, Make video using text"。但实际上宣传片也是剪辑出来的,实际使用起来还需要大量的鼠标操作,text在里面的占比10%都不到。

也可以理解,广告嘛,你总不能要求康师傅红烧牛肉面的包装和广告视频必须得和成品一致。

完全由AI生成视频的作品也有,呈现出来的效果基本是和抽象艺术紧密联系的,或者直白点说,还不如幼儿园小朋友画的简笔画。在AI生成视频这个领域,距离可用还有比较长的一段路要走。

05.不止是SaaS
Runway还有一个亮点是作为AI平台,你可以自己上传图片进行训练。早期有一段时间,还可以上传你自己的模型,并把模型进行组合,即一个模型的输出可以作为另一个模型的输入,编排上通过可视化的拖拉拽完成编排。我想了下,这个功能不就是AI界的Zapier吗?
Runway相当于是SaaS和PaaS两方面功能都具备,并且还有AI buff加成,光环叠满啊,难怪融资可以拿的相当顺利。
06.生于云端的软件
Runway是关于AI相关的计算都是在云端远程处理的,用户端只有浏览器的窗口。音视频需要传输非常消耗网络带宽,Runway针对这个问题还做了HLS(HTTP Live Streaming)的优化(https://runwayml.com/blog/distributing-work-adventures-queuing-and-autoscaling/)。目前使用的人数还较少,用户增长爆发之后,网络和服务器的开销,也是一笔不小的投入。如果算上用于AI的服务器,可能需要的成本就更多了。
07.总结
目前ruwnay的AI工具一共30个,包含音频、图片、视频、文字四个大类,基本上市面上能想到的AIGC的玩法都有涉及。对于创意人员来说,是一个能够提高效率的好工具;对于研究人员来说,也可以作为一个AI平台来使用。
在剥离广告片的夸张宣传之外,Runway本质上还是一个借助AI提升效率泛音视频编辑工具,目前最成功的特点,也是帮视频制作人员减少重复性的劳动
在Youtube的Runway宣传片评论区,还有一位小哥留言:49s时的一张城市宣传图片是他通过stable diffusion生成的,这种创造图片但是并不拥有的感觉很奇怪。

通用的生成式AI距离广泛的现实应用还很远,重复性替代或者复制性重构的AI目前正在逐步走向成熟。

--- END ---


 #专题推荐#

//点击即可阅读//

新闻媒体专题——扩大你的信息源
笔记工具专题——如何构建你的知识库

人工智能专题——未来离我们有多远

效率工具专题——让你的工作效率提升100%
数字游民不可或缺的如意神器有哪些
语言专题——准备好提高你的外语水平了吗
知识专题——每一位终身学习者的乐园
推荐几个实用的宝藏工具专题
运营专题——运营人的好帮手


投稿    建议     加入我们

//点击即可填写//


关于我们  / About us


利用 Web3 精神和 DAO 组织形式
推荐互联网专业工具,改造现有任务协作体系

最终以探索的力量,引领新青年进入未来

查看更多👇👇👇

点击阅读原文,即可访问漫游指南官网

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存