技术科普 | FlawlessAI电影–更改台词还能编辑唇形?

FlawlessAI电影–更改台词还能编辑唇形?
                                                 
一.导语
在AI辅助工具层出不穷的如今,你或许已经习惯了如GPT、文心一言等综合类大模型的陪伴,也或许体验过AI绘画、AI音乐等更深入某一领域的AI助手。今天,笔者将为大家简单介绍一款电影编辑领域的AI领头羊,那就是“全球首款可授权的专业 GenAI 电影剪辑软件”——Flawless。
二. 卖点
 TrueSync
如本文标题所言,Flawless的第一大卖点就是AI更换影视台词语种并同时修改唇形,实现唇形同步。

说到这,笔者不禁想起传统译制片带来的出戏体验——当时笔者年龄还不大,英文水平好到一看到就能认出这是英文——但笔者依然在听得懂的中配哈利·波特与听不懂的英配哈利·波特之间,头铁地选择了英配。

如果Flawless在当年就能实现广泛应用,想必笔者大概能坚持看完全系列电影而不是半途而废,咳咳。

那么,接下来请看Flawless AI 在油管上发布的视频:

让笔者来为这段效果演示起个标题:《将R级电影台词进行和谐,使之老少皆宜、全球可用需要几步?》
第一,进行面部表情追踪
第二,重新3D建模

第三,原对话移除
第四,修改台词,实现和谐
第五,切换成任意语种(视频中分别演示了日语、西班牙语)。
从视频中看,修改过语种的视频无论是从语言语音还是从唇形上来看,效果都非常自然。
油管上的高赞回复称:

我也不想大惊小怪的,可这真的不可思议。

 

有点想看一部所有人都不说话的电影了。
这在技术上赞爆了。从编辑的角度来看,对话移除很有用,尤其是有时候可能某段镜头情感表达很好,但导演想要删除其中的一句台词。而且仅仅修改口部运动可以在一定程度上避免恐怖谷效应,现在就是不确定是不是每种语言都能和面部表情配合好。毕竟口部和眼部在技巧和情感上都有着密切的联系。虽然但是,这项技术让人迫不及待了……很想看看一个完整电影制作流程会是什么样子!

 

DeepEditor

FlawlessAI称,自己的优势是:可在编辑器上直接修改台词,使屏幕上的演员唇部与新台词同步,而无需返回拍摄现场或在剪辑时妥协,避免现场重拍成本高、时间安排困难等问题。

深度编辑功能使之可以:

根据需要无缝更改对白。将一个镜头中的表演转移到另一个镜头中,进一步优化镜头。
提高现场拍摄效率,在后期灵活地更新对白和调换表演,从而简化现场拍摄流程。 
专为剪辑师和后期制作专家设计,并与现有工作流程相结合。 

除了这些,Flawless还有其他优势:1.电影级质量:将业界最佳的科学与独特的人机交互工具相结合,实现业内最高质量的视觉输出和唇音同步。

2.可扩展性:提供专为现有行业技能组合、工作流程和分布式员工设计的云原生工具。

3.责任:建立在合法来源的数据和权利管理平台之上。

 

获取渠道

进入网址https://www.flawlessai.com/点击右上角Get a quote键。

需要注意的是,FlawlessAI现在并没有面向大众开放,询盘也更偏向于企业用户。Anyway,笔者还是很期待Flawless广泛应用的那一天。
结语
这样看,FlawlessAI这位领头羊简直是电影圈的魔法师,以科技的魔力吹皱春水,唇形同步技术让译制片尴尬成过往云烟。古人云:“江山代有才人出,各领风骚数百年。”咱们便诚心相看,静候这位“魔术师”挥毫泼墨,再续新篇吧。
特别说明:本文仅供学习交流,如有不妥欢迎后台联系小编。

原创来源/原创作者:李嘉玮

推文编辑:陈昱良

审核:朱华 陈佳艺

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注