查看原文
其他

效果炸裂!OpenAI 发布首个视频生成模型,这就是 AI 视频的 GPT 时刻

用 AI 发电的 APPSO 2024-03-08

春节假期还没结束,AIGC 已经开始了新一轮的疯狂,一觉醒来便是翻天覆地。今天凌晨 OpenAI 突然发布了一款重磅模型,不是大家期待已久的 GPT-5,但它的意义不亚于一年前发布的 GPT-4。这就是 OpenAI 的首个视频生成模型 Sora。虽然过去一年 AI 视频已经带给我们很多惊艳时刻,但后发先至的 OpenAI 依然带来了亿点点震撼。对比 AI 视频里 Runway、Pika、Google 和 Meta 这些主流玩家, Sora 的特别之处在于:
能够生成具有多个角色、特定类型动作和主题背景的复杂视频,时长可达到 1 分钟
可以在单个生成的视频中创建多个镜头,模拟复杂的摄像机运镜,同时准确地保持角色和视觉风格。
最重要的是,它不仅理解用户在 prompt 中要求的内容,还能自己理解这些事物在现实世界中的存在方式。比如下面这个案例:Prompt: A Chinese Lunar New Year celebration video with Chinese Dragon.
提示:与中国龙一起庆祝中国农历新年的视频。

越简单的 Prompt,越体现出 Sora 模型对物理世界的运行规则理解有多深。更多技术细节可通过官网了解:https://openai.com/sora尽管不想再用这个有点被滥用的词,但我们也许不得不承认,这就是 AI 视频的「GPT 时刻」。至于怎么能体验到 Sora,OpenAI 还没公布向所有用户开放的时间,目前只有部分视觉艺术家、设计师和电影制作受邀测试。不过 OpenAI CEO Sam Altman 开启了「在线接单」模式,只要带上你的 Prompt 在 X 上 @ Sam Altman ,就有可能收到生成的视频。下面我们先来欣赏一下 Sora 的一些生成视频案例(无后期),看完后或许你会开始理解,为什么大批影视行业从业者会彻夜难眠。

Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. she wears a black leather jacket, a long red dress, and black boots, and carries a black purse. she wears sunglasses and red lipstick. she walks confidently and casually. the street is damp and reflective, creating a mirror effect of the colorful lights. many pedestrians walk about.」提示词:一位时髦的女士走在东京的街头,街道充满了温暖的霓虹灯光和动感的城市标志。她穿着一件黑色皮夹克,一条长红裙和黑色靴子,手拿一个黑色手提包。她戴着太阳镜和红色口红。她走路既自信又随意。街道潮湿且能反射,形成了五彩灯光的镜面效果。许多行人在街上走动。

Prompt: A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors.提示词:一部电影预告片,讲述 30 岁的太空人头戴红色羊毛针织摩托车头盔的冒险故事,蓝天、盐碱沙漠、电影风格、35 毫米胶片拍摄、色彩鲜明。

Prompt: Several giant wooly mammoths approach treading through a snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow covered trees and dramatic snow capped mountains in the distance, mid afternoon light with wispy clouds and a sun high in the distance creates a warm glow, the low camera view is stunning capturing the large furry mammal with beautiful photography, depth of field.提示词:几只巨大的毛象踏过雪地,它们长长的毛发在风中轻轻飘动,远处有被雪覆盖的树木和壮观的雪山,午后的光线伴着漂浮的云朵和远处高高挂起的太阳,营造出温暖的光晕,低机位拍摄的景色令人惊叹,捕捉到了大型毛茸茸的哺乳动物,摄影和景深都非常漂亮。

Prompt: Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. the art style is 3d and realistic, with a focus on lighting and texture. the mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with wide eyes and open mouth. its pose and expression convey a sense of innocence and playfulness, as if it is exploring the world around it for the first time. the use of warm colors and dramatic lighting further enhances the cozy atmosphere of the image.提示词:动画场景特写,一个矮小蓬松的怪物跪在一根融化的红蜡烛旁。艺术风格为三维写实,注重光影和质感。这幅画的基调是惊奇和好奇,怪物睁大眼睛、张开嘴巴注视着火焰。它的姿势和表情传达出一种天真和俏皮的感觉,仿佛是第一次探索周围的世界。暖色调和戏剧性灯光的使用进一步增强了画面的温馨氛围。

Prompt: A gorgeously rendered papercraft world of a coral reef, rife with colorful fish and sea creatures.
提示词:一个华丽的珊瑚礁纸艺世界,到处都是五颜六色的鱼和海洋生物。

Prompt: Drone view of waves crashing against the rugged cliffs along Big Sur’s garay point beach. The crashing blue waters create white-tipped waves, while the golden light of the setting sun illuminates the rocky shore. A small island with a lighthouse sits in the distance, and green shrubbery covers the cliff’s edge. The steep drop from the road down to the beach is a dramatic feat, with the cliff’s edges jutting out over the sea. This is a view that captures the raw beauty of the coast and the rugged landscape of the Pacific Coast Highway.提示词:无人机拍摄大苏尔加雷点海滩上海浪拍打崎岖悬崖的景象。湛蓝的海水拍打出白色的浪花,夕阳的金光照亮了岩石海岸。远处有一座小岛,岛上有一座灯塔,绿色的灌木丛覆盖着悬崖边缘。从公路到海滩的陡峭落差非常壮观,悬崖的边缘突出海面。这里的景色捕捉到了海岸的原始之美和太平洋海岸公路的崎岖地貌。

Prompt: This close-up shot of a Victoria crowned pigeon showcases its striking blue plumage and red chest. Its crest is made of delicate, lacy feathers, while its eye is a striking red color. The bird’s head is tilted slightly to the side, giving the impression of it looking regal and majestic. The background is blurred, drawing attention to the bird’s striking appearance.提示词:这是一张维多利亚冠鸽的特写镜头,展示了它醒目的蓝色羽毛和红色胸膛。它的冠羽由精致的花边羽毛组成,眼睛则是醒目的红色。鸽子的头部略微偏向一侧,给人一种高贵威严的感觉。背景是模糊的,让人注意到这只鸟引人注目的外表

Prompt: Photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.提示词:两艘海盗船在一杯咖啡中航行时的逼真特写视频。AI 视频的 GPT 时刻,AGI 的重要里程碑过去一年 我们已经看过不少媲美专业级制作的 AI 生成视频,连迪士尼也开始用到影视制作中,但仍有不少掣肘。而 Sora 又往前迈出了一大步,就像 OpenAI 研究员所说:制作一部专业电影需要大量的昂贵设备,Sora 这个模型将让普通人在社交媒体上制作出高质量的视频内容成为可能。
但这不代表只靠 Sora 能马上制作出一部电影,研究人员也提到 仍存着一些缺点,比如可能无法理解特定的因果关系。例如给出提示词:一个人咬了一口饼干,但生成的饼干上可能没有咬痕。回顾过去这一年 AI 视频的产品迭代,速度已经超出人们的想象。去年年底,Runway Gen-2 迎来一波大更新,分辨率提升至 4K,视频生成效果的保真度和一致性迎来重大突破,一周后,又再次推出运动画笔功能,轻轻一刷,便能让静态事物动起来。紧接着,Stability AI 也发布 Stable Video Diffusion,给 AI 视频生成领域再添一把旺火。而 Pika 1.0 则凭借更简单的视频生成,浅显易懂的视频局部编辑,更高质量的视频生成,刚出道便获得一众硅谷大佬的青睐。从生成到后期,仅靠自己就能完成一条龙操作。李飞飞团队和 Google 合作推出的 W.A.L.T 模型,也同样可以根据自然语言/图片提示,生成逼真的 2D/3D 视频或动画,生成效果更是媲美 Runway、Pika 等一众好手。从上述这些产品,到今天 OpenAI 加入文生视频的大军,也仅仅过去了两个多月。其实, Sora 最大的意义其实不在于生成的视频有多逼真,而是展现出能够理解和模拟现实世界的模型的雏形。OpenAI 认为,这将是实现 AGI 的重要里程碑。Sam Altman 在不久前曾表示,GPT-5 将有指数级跃升,人类已经非常接近 AGI。我们很快就能见证。


继续滑动看下一个

效果炸裂!OpenAI 发布首个视频生成模型,这就是 AI 视频的 GPT 时刻

用 AI 发电的 APPSO
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存