一句话就能生成视频 人人能拍大片了?
2023-06-17 11:32:42 作者:admin 文章来源:unknown 阅读次数:399
记者 童蔚
“前几天张颂文老师提到过,我给他看人工智能生成的视频。他是焦虑得一晚上没睡,其实我也焦虑了好长时间。我觉得这是一种技术革新。”国产科幻片《流浪地球》系列的导演郭帆如是说。
正在进行时的上海国际电影节,今年首次特设“科幻电影周”单元,人工智能毫无意外地成了现场频频被提及的热词。
恰好也就在近日,为奥斯卡大赢家《瞬息全宇宙》提供过技术支持的人工智能公司Runway,开放了视频编辑器的免费试用。这可能是全球范围第一个公开可试用的“文生视频”AI工具。
随着“文生图”的AI绘画日渐融入我们的日常工作和生活,“文生视频”也开始崭露头角,杭州已有公司正在使用这种技术制作商业广告样片。
郭帆:完全颠覆的技术已经出现了
A掏出手机,给B看一段30秒的视频。
视频画面中,昏暗的灯光下,一位老人在室内的环境里说着台词,表情满是忧伤。
B:挺好,很走心。
A:这是AI制作出来的,这个演员根本不存在。
B:没有借鉴某个演员的脸吗?指AI换脸。我就被换过很多次,在网上看到过自己唱歌跳舞。
A:没有,完全虚拟的人物。这是未来的挑战。
A是郭帆,B是张颂文。
“做《流浪地球2》时,面部的增/减龄虽然也是通过人工智能完成,但当时应用并不便利。而现在技术突飞猛进,生成的一个视频中,演员可能压根不存在,而你甚至很难分辨。完全颠覆的技术已经出现了。”被网友戏称为“赛博妲己”的郭帆,现在每天只有三四个小时的睡眠时间,工作之余都在琢磨人工智能,阅读相关书籍。
就在本届上海国际电影节期间举行的三场科幻电影主题论坛上,国内电影人热烈讨论着如何看待、运用生成式AI,AI会给电影创作和制作带来哪些影响等话题。现实似乎比电影更科幻。
网友:上一次这么激动
还是第一次体验AI绘画
就在几天前,大洋彼岸一家名叫Runway的人工智能公司,面向全球开放了视频编辑器Gen-2的免费公测。你只需要输入几个词或者一句话(也可以给张参考图),就能“无中生有”生成想要的视频。它支持中文输入,不过目前公测版的视频片段仅为4秒。
“上一次这么激动还是第一次体验AI绘画”“人人能拍大片的时代要来了”“视频制作的门槛降低了”……网友难掩兴奋。
与Gen-2同时公测的,还有上一代编辑器Gen-1,可通过文本或提供参考图,将现有视频风格转化为其他任意风格。成立于2018年的这家公司,其实也不算无名之辈。它曾完成了《瞬息全宇宙》中香肠手、大眼石头对话等超现实艺术场景,本月初还拿到了谷歌领投的D轮融资。
在Runway官网的演示视频中,输入提示词“丛林”,大片镜头立刻呈现。轮流搭配“河流”“瀑布”“黄昏”“白天”等,这个AI工具也能秒懂。据官方透露,Gen-2的训练数据,包括2.4亿张图片、640万个视频剪辑片段以及数亿个学习示例。
实际生成效果真有这么好吗?
记者上手试了试。输入中文提示词“杭州西湖荷花盛开 影视风格”,1分多钟后呈现在眼前的是“水中亭台楼阁”的航拍镜头,不见荷花;再转用英语表达,这次荷花有了,但效果依然不尽如人意,画质较模糊,某些地方卡顿得像幻灯片。
杭州有公司正在用它制作广告样片
“目前这类AI工具,生成视频的整体水平还比较粗糙,达不到影视剧直接使用的标准和要求。”杭州元形水滴智能科技CEO、联合创始人沈传立一边说,一边传过来几段此前用AI生成的视频。从画面看,同样存在颗粒感重、帧率不稳定等问题,且人物脸部还有点扭曲和诡异。
这家位于滨江的科技公司,专业从事数字人、元宇宙等生成式人工智能相关的研发和业务。近期,他们正在为客户用“文生视频”的技术,制作商业广告宣传片的demo(样片)。“因为签有保密协议,细节不便透露,但就跟‘文生图’的AI绘画一样,这(文生视频)是目前市场上已经在发展的事。”
那么,“文生视频”的整体水平还不够理想,是因为技术问题吗?
与图像生成相比,优质和可控的视频显然更复杂。“不是技术做不到,而是需要有更多人参与。”沈传立纠正了这种说法。“需要三点:一是数据的标准性和通用性,现在‘喂’给模型的数据比较杂和‘脏’;二是训练模型的建立和完善,就是需要更多LoRA模型(可以解决微调大模型的问题);三是更多开放生态伙伴加入。说白了,就是好的生成模型,需要好的‘饲料喂养’,也需要更多技术公司参与进来。”
事实上,目前,国内外大厂都有正在开发的文生视频AI工具,像是百度CreateLab、阿里达摩院的文本生成视频大模型、谷歌Imagen,还有Meta的Make-A-Video等。
而在Runway等的技术接近能直接生成电影质感的视频前,至少还要经过多次迭代。
这个时间大概是多久?
漫威电影《复仇者联盟4》等的导演乔·罗素日前接受采访时预测,两年内,人工智能就将能够创造一部成熟的电影。