Project Stardust允许用户通过点击编辑图像中的元素。Project See Through删除照片中的反射。Project Primrose将纺织品变成创意画布。Project Neo有助于将3D形状融入2D设计。Project Poseable动态调整图像中的人体姿势。
然而,对语言行业来说最重要的是Project Dub Dub Dub,它可以自动进行视频配音,同时保留原始说话者的声音。为Adobe套件添加配音功能的举动是大型科技公司将语言人工智能功能注入产品的更广泛趋势的一部分。演示配音功能在会议的“Sneaks”阶段,Adobe音频研究科学家Zeyu Jin展示了如何将自动配音应用于音频和视频,“同时保持声线不变”
金与观众分享了两个“压力测试”。首先,Adobe研究人员将一位同事的声音翻译成六种语言。然后,金将快速对话的经典电影《他的女孩星期五》的一个片段自动配音成西班牙语和德语,同时保留了原演员罗莎琳德·拉塞尔和加里·格兰特的声音。
该演示旨在提供一个早期创新的“先睹为快”,技术细节很少。该功能使用“语音到语音翻译”,但尚不清楚Adobe是利用自己的创意生成人工智能模型家族(“萤火虫”)还是像Spotify一样语音翻译功能——利用领先的大语言模型(LLM)提供商的翻译和语音合成功能。
最初对配音质量的反馈是平淡无奇的,一些YouTube用户质疑西班牙语和德语配音的可理解性和时机。然而,其他用户指出,该功能只是一个原型,并分享了他们的期望,即质量将不可避免地随着时间的推移而提高。
这是越来越拥挤的人工智能本地化解决方案和供应商的共同目标——来自流行的YouTuberMr.Beast资金充足人工智能配音创业公司(例如 VOISEED, Neural Garage, Dubverse, Blanc, Dubdub, 和 Deepdub),以及更成熟的参与者(如 PaperCup, Synthesia 和 AppTek),以及传统的媒体本地化现在也在利用人工智能来补充人类配音服务的公司。
通过在一个领先的技术组合中编织人工智能支持的创造性和多语言功能,Adobe加入了其他大型技术公司,如微软(通过其AI co-pilot提供)为解决本地化需求提出一个新的、令人信服的提议。然而,作为Adobe解释“Project Dub Dub Dub仍在开发中,尚未推出。请继续关注最新消息。”
机器翻译,轻度译后编辑,仅供参考。
编辑:张梓琦