GenAI时代的全球多媒体内容

全球约有35亿消费者，占所有互联网用户的92%，平均每周观看17小时的在线视频内容。播客越来越受欢迎，在全世界有超过500万的播客与4.647亿听众。到2025年电子化学习收入预计增加两倍。然而，随着全球受众数量的增长，对多语言多媒体内容的需求也在增长。多媒体本地化涉及视频和音频本地化、脚本转录和翻译、字幕和屏幕文本以及画外音和配音。多媒体翻译起来更复杂，因为它包括文本、图形、视频、动画和音频。这就是生成式人工智能 (GenAI) 的用武之地，它有望实现无缝的多语言内容创建和翻译。Gartner估计，随着GenAI的迅速崛起，到2025年生成式人工智能将从今天的不到1%到占所有数据的10%。

GenAI如何影响多语言多媒体内容创作

传统上，翻译多媒体内容涉及从源语言到目标语言的翻译方法，即用一种语言创建的内容被翻译成其他语言。例如，一个英语视频会根据需要被翻译成法语、西班牙语和其他语言。然而，随着GenAI的出现，我们正在见证一个范式的转变。人工智能工具，如微软Copilot快速融入日常工作流程，自动化多语言内容创建。与传统的从源语言到目标语言的翻译不同，我们正在走向一种新模式，在这种模式下，所有的语言变体都可以直接由源语言生成。这意味着内容创建者可以提示人工智能模型同时制作英语、中文和阿拉伯语的多媒体内容，从而简化本地化过程。谷歌的Bard现在也可以连接其应用和服务，并支持40多种语言。Spotify试行了人工智能语音翻译，利用人工智能将播客翻译成多种语言。

人工智能将如何改变多媒体

字幕

包括自动语音识别（ASR）和机器翻译（MT）在内的语言技术极大地改善了字幕工作流程。ASR处理视频和音频文件中的语音，并将其转换为文本。MT使用人工智能自动将文本从一种语言翻译成另一种语言，无需人类参与。该工作流程遵循两步流程：转录与翻译。然而，如今大语言模型（LLMs）和GenAI可以有效地使这一过程自动化。人工智能驱动的字幕工具可以转录口语单词，将其翻译成多种语言，并与视频无缝同步。这不仅节省了时间，而且确保了跨语言的准确性和一致性。大语言模型也有明显的优势，例如考虑上下文以获得更好的机器翻译结果。使用多模态模型，大语言模型可以在决定最相关的目标文本时使用伴随的视觉效果。字幕是本地化多媒体内容最常见的方式，因为它们比配音更快、更具成本效益。电子化学习内容等内容类型通常包括需要字幕的视频和动画，以便全球观众都能访问它们。这些人工智能技术的兴起对电子化学习组织来说是一个好消息，可以用更多的方式制作多语言的学习内容。

人工智能辅助合成音频

除了字幕，画外音和音频本地化是内容的重要方面。GenAI也准备革新这一领域。人工智能模型可以准确模仿人类的声音，使媒体、营销和电子化学习组织能够使用同一视频提供多种语言的内容，而无需人类配音演员。现代人工智能辅助合成音频使用先进的神经网络，根据大量的人类语音进行训练。单调的机器人声音已经一去不复返了。人工智能生成的音频可以提供一个多样化且可接受反馈的多语言声音平台。人工智能生成的音频现在实现了高采样率，并且经常与录音室质量的录音相匹配。一些人工智能音频技术还可以在现场会议期间实现实时翻译，使与来自不同语言背景的参与者轻松互动成为可能。

未来之路：GenAI和多语言的未来

GenAI和多媒体内容本地化的融合正在重塑我们创建、翻译和向全球受众交付内容的方式。随着大语言模型语言能力的提高，翻译内容的质量将显著提高。然而，当我们拥抱这一变革性技术时，必须解决几个挑战和考虑因素：

• 质量控制。虽然人工智能生成和翻译的内容正在改善，但保持严格的质量控制至关重要。人工监督对于确保翻译的准确性、文化敏感性和上下文相关性仍然至关重要，尤其是在学术道德至关重要的电子化学习内容中。

• 偏见和伦理问题。生成式人工智能模型从庞大的数据集中学习，这可能会无意中加固数据中存在的偏差。仔细的监测和道德准则对于阻止偏见的传播是必要的，特别是在教育中。

• 培训和适应。人工智能模型需要不断训练和适应新的语言和文化差异。投资人工智能模型的持续开发和完善对于确保它们保持有效和相关至关重要。

因此，仍然需要人为干预。ASR和机器翻译译后编辑在审查和编辑人工智能翻译的内容方面至关重要。也有新兴的角色，如语内翻译员、ASR字幕工程师、字幕机器翻译工程师、字幕后期编辑、字幕机器翻译顾问以及开发、培训和控制ASR和语音转文本技术的语言学家。