我的专栏《AI绘画与AIGC实践之路！》
本周是人工智能技术迅速发展的一周，GPT-4、Midjourney5、GEN-1分别代表了文本生成、图像生成和视频生成三个AIGC领域。前几天，我收到了GEN-1试用通知，但一直忙于Midjourney的新版体验，直到今天才体验了这个传说中的AI视频神器。
GEN-1是Runway公司推出的一款新型视频模型，能够改变视频或电影的视觉风格。去年，Runway公司曾合作开发了Stable Diffusion，现在又发布了名为Gen-1的人工智能模型。通过应用文本提示或参考图像中指定的风格，Gen-1可以将现有视频转换为新视频。
然而，对于普通用户来说，体验效果需要降低期望值，可以将其视为去年Disco Diffusion刚推出时的效果。尽管从官方发布的一些演示视频来看，技术无疑非常棒，也能够实现非常精彩的效果，但是目前面向测试用户的服务存在许多限制，导致完成的视频还比较粗糙，例如视频时长只有3秒，分辨率和流畅性都很低。不过，用户可以体验一下他们产品未来的一个实现理念和流程。
从上面我制作的演示视频中可以看到，GEN目前能实现的几个主要功能：3、隔离视频中的主题，并使用简单的文本提示对背景进行修改。https://forms.gle/k3fqL3shgjMEcZQUA本周，前期申请的部分用户将收到使用权限，但申请通过后并不会收到邮件通知，需要自己查看Discord的官方频道，如果能看到下面的频道，就表示通过了测试申请，可以开始使用。
目前不支持直接从文本提示语生成视频，必须提供一个初始视频，然后可以叠加文字提示语或叠加图片提示，生成新的视频。使用方法和Midjourney类似，有权限的用户可以进入左侧以generate开头的任意一个频道开始体验。
在输入框点击+号上传一个视频，然后在输入框输入@GEN-1 文本提示语 --参数，回车开始生成。Prompt：Hayao Miyazaki's film在输入框点击+号上传一个视频+一张图片。然后输入@GEN-1 --参数，回车开始生成。开始生成后，会自动进入一个子进程，后续你可以一直在这个子进程中操作，避免了类似Midjourney大厅里人多消息混杂的情况。3、视频时长：在测试期间，Gen-1 的输出限制为 95 帧，或大约 3 秒。4、生成时间：平均而言，生成大约需要 2-3 分钟才能完成，但在使用率高的时候，可能需要更长的时间。以下这些参数可以添加到文本提示的末尾，或者紧跟在图像提示的 @Gen-1 之后。例如：@Gen-1 --upscale
--depth_blur_level (default 2) (必须是整数值)确定输出与输入视频结构的接近程度。0，尽可能接近，而 7 几乎忽略输入视频。建议你探索 0 到 5 之间的值。--cfg_temporal_scale (默认 1)可用于控制时间一致性。低于 1 的值会降低一致性，高于 1 的值会增加一致性。建议使用 1.0 和 1.25 之间的值，因为运行时间会增加，并且在较低和较高的值下会发生颜色偏移。增强考虑文本或图像提示的程度。较低的数字将导致更具创造性的解释，而较高的数字将对提示更严格。建议值介于 7.5 和 12.5 之间。默认情况下随机生成数字，但是如果遇到喜欢的种子值，可以使用 --seed ###### 重新输入该值将从你的原始输入视频擦除到生成的结果以比较输入与输出会将帧插值添加到最终输出，因此插值将有助于使丢帧播放更流畅一些。--only_foreground_depth（默认关闭）--mask_mode_foreground（默认关闭）--mask_mode_background（默认关闭）就是如何控制掉帧。值为 1 将按顺序生成帧，值为 2 将每隔一帧跳过一次，值为 5 将每隔 5 帧跳过一次。这是一种以丢帧为代价控制较长剪辑的输出生成的方法。用于对最终 Gen-1 输出进行降噪的步数。高于 50 的值将产生最小的影响。刚开始操作，什么参数也不需要改，先找一个短视频，最好动作变化较大。因为你要在3秒中体现出变化，慢吞吞的视频体验不出来，可以是人物跳舞的视频，或者人物近景大头自拍视频。如果是拍摄的风景，也是动态变化比较大的，例如飞奔的火车、汽车等等。目前看提示语简短些就好，各种关键词对最终效果影响不大，重要的是风格要独特，例如城市夜景、燃烧、爆炸、夕阳等关键词就容易出效果，什么高清、细节等等就算了，这么低的分辨率也体现不出来。图片影响程度要远远高于文字，尽量选用一些风格鲜明的图片，例如下面选梵高风格的图片生成的效果。前面的基本参数都搞明白了的话，你可能会非常沮丧，效果很粗糙。但现在你可以添加一些其他参数，改变一下生成的结果，注意所有参数都会降低生成速度，所以是建议你熟悉了基本操作以后再增加以下参数。
--upscale true 这个参数相当于增加分辨率--interpolate true 这个参数是增加视频插值，有助于提高流畅度。--mask_mode_foreground true 只会影响前景主体而不会影响背景，效果看下面的视频，这个提示语是乐高小人跳舞，所以面部很差劲。--mask_mode_background true 只会影响背景而不会影响前景主体，效果见下。--subsampling 5 增加跳帧次数，相当于增加了视频长度，可以在视频生成后再在视频编辑软件中增加插帧。最终推荐所有视频把以下三个参数都打开，效果会更好一些。--upscale true --interpolate true --subsampling 5 即便在这样严苛的条件下，还是有网友创作出了非常好的作品，所以好的创意很重要。
这篇文章就介绍到这里，由于使用时间较短，一些理解难免有错，后面慢慢继续学习，最后再放一个我用GEN-1做的完全没有创意的视频。
《2023 AIGC从入门到精通专栏》
欢迎您的加入！
根据你的喜好，推荐阅读以下AI绘画内容：
喜欢请转发到朋友圈支持一下！