谷歌的 Translatotron 翻译系统升级回归了——其创造者自豪地称之为 “首个完全无监督的端到端直接语音翻译模型”。Translatotron 最初于 2019 年 4 月亮相，是改进传统语音到语音翻译（S2ST）模式的早期概念验证。
标准的”级联”语音翻译系统包括四个步骤：自动语音识别 (ASR)、语音到文本 (STT) 转录、机器翻译(MT) 和文本到语音。Translatotron 跳过了文本翻译步骤。
2021 年 7 月推出的 Translatotron 2 优于其原始版本，在翻译质量、语音稳健性和语音自然度方面都与传统级联系统相当。研究人员还加入了防止模型用于生成语音深度伪造的保护措施。
Translatotron 的第三个版本在几个方面对其前身进行了改进，其中最突出的是其无监督 S2ST 架构。该系统还能从单语数据中 “学习” S2ST。
谷歌研究科学家埃利亚·纳克马尼（Eliya Nachman）和软件工程师米歇尔·塔德莫尔·拉马诺维奇（Michelle Tadmor Ramanovich）在 2023 年 12 月 1 日的一篇博文中写道：“这种方法不仅为更多语言之间的翻译打开了大门，而且还为停顿、语速和说话人身份等非文本语音属性的翻译打开了大门。”
语音翻译是硅谷的热门话题。2023 年 11 月，谷歌的竞争对手 Meta 发布了自己的人工智能模型 Seamless，据说它可以实时翻译语音，并保语音风格一致。
谷歌引以为豪的是 Translatotron 省略了文本翻译，而 Meta 则宣传 Seamless 能够处理近 100 种输入和输出语言的 ASR 和 STT 翻译。其 STT 翻译可将近 100 种输入语言翻译成 36 种目标语言。作者建议使用反向翻译（即无监督 MT 生成源语言文本的合成翻译），以此消除无监督 S2ST 对双语语音数据集的需求。
Translatotron经历了两个阶段的训练过程。第一部分侧重于自动编码输入，第二部分则训练网络翻译输入（即通过反向翻译）。
纳赫马尼（Nachmani）和塔德摩尔·拉马诺维奇（Tadmor Ramanovich）与谷歌研究院的科学家阿隆·列夫科维奇（Alon Levkovitch）、丘拉尤斯·阿萨瓦罗翁猜（Chulayuth Asawaroengchai）以及谷歌 DeepMind 的丁一凡（Yifan Ding）、海格·禅（Heiga Zen）于 2023 年 6 月共同撰写了一篇论文，详细介绍了 Translatotron 3 的功能。
研究小组将 Translatotron 3 的西英翻译（双向）性能与使用 ASR、无监督 MT 和 TTS 的级联 S2ST 系统进行了比较。
作者写道：“Translatotron 3 在翻译质量、说话人相似度和语音质量等各方面的表现都远远优于基准。它在会话语料库中表现尤为突出。此外，Translatotron 3 还实现了与地面真实音频样本相似的语音自然度。”
未来的工作——可能包括 Translatotron 4 的推出–也许会探索更多的语言、零样本语音翻译配合反向翻译，以及不同类型语音数据的反向翻译，如嘈杂语音和来自资源有限语言的数据。
特别说明：本文内容仅供学习交流使用，如有侵权请后台联系小编删除。
– END –
摘译编辑：刘煜珍