大语言模型能否实现机器翻译同传？

今天小编给大家带来了有关大语言模型的热点追踪，大家走过路过不要错过~大语言模型到底是否能实现机器翻译同传呢？跟随小编一起来探索吧！

2023年9月13日，澳大利亚莫纳什大学（Monash University）的一个研究小组发布关于大语言模型（LLM）执行机器翻译同传功能的研究报告，研究人员将该功能称之为SimulTM。

(图片来源: https://slator.com/can-large-language-models-do-simultaneous-machine-translation/）

莫纳什大学的团队提出了一种所谓的“混合政策”，使大语言模型能够在无需额外培训的情况下执行SimulMT。他们最初注意到，大语言模型在离线机器翻译（MT）任务中表现出极具竞争力的性能，尤其是在高资源语言方面。但据作者称，在SimulMT中还没有使用大语言模型的成功案例，因为SimulMT需要在输入文本时进行实时翻译。

作者指出：“与离线翻译不同，在SimulMT中，源文本会随时间推移逐渐累积，而翻译模型则需要同步渐进地提供翻译。在这个过程中，模型需要有一定的策略来决定是进行读取（READ）还是写入（WRITE）操作。”

为了应对这些挑战，研究人员将传统的同传模型与“wait-k”策略和增量解码相结合，设计出一种为大语言模型量身定制的混合策略。

混合策略的“wait-k”部分指示计算机在开始翻译之前要读取多少内容，而“增量解码”部分则告诉计算机在阅读更多内容之前，需要翻译多少内容。

同步微调（SFT）

这一策略在一定程度上使大语言模型能进行同声传译，作者还通过同步微调（SFT）探索了进一步的改进措施。他们观察到，最初的策略可以部分缓解源文本上下文不完整导致的错觉等问题，但也注意到该模型存在产生局部连贯但不正确的翻译的情况。

为了缓解模型尝试补全的倾向，他们创建了一个前缀到前缀数据的数据集，该数据集由截断为不同长度的源句组成。使用了ChatGPT来生成相应的目标前缀，然后将其整合到多语言训练集中。

评估用到了MUST-C数据集内的九个语言对。所有语言对都以英语为源语，由TED演讲语音数据组成。每个语言对的训练集包含10万到20万个样本，以及2000个测试样本。训练集的总规模达到190万个样本，包括另外9000个前缀样本在内。采用SimulEval工具包进行评估，评估指标包括针对翻译质量的BLEU和针对延迟情况的LAAL。使用Llama2-7B-chat模型作为大语言模型。

结果表明，新方法使大语言模型在同步解码过程中实现了其固有的离线翻译性能。经同步微调（SFT）之后，模型性能优于专用的同传模型，同时保持了较低的延迟。增加前缀训练后，低延迟情况下的性能略有提高。

研究者写道：“在今后的工作中，我们计划在更广泛的大语言模型和不同语言中验证这种方法，并探索其与语音模式的整合。”