在2023年初，ADAPT Centre的Yasmin Moslem、Rejwanul Haque、John D. Kelleher和Andy Way探索了GPT-3在模糊匹配下的自适应机器翻译（MT）能力，发现对于某些语言对，GPT-3在模糊匹配下的自适应MT表现优于其他大型语言模型（LLMs）如BLOOM和BLOOMZ。
在2023年12月20日，Moslem、Haque和Way进一步展示了微调如何提高大型语言模型的实时自适应MT能力。他们的主要目标是增强通用型LLM Mistral 7B的实时自适应MT能力，使其能够在推断时调整翻译以适应特定领域，本例中是医学领域。
正如作者解释的那样，LLM的自适应MT利用上下文学习来定制翻译，提高质量、领域遵循和风格。尽管上下文学习具有在没有额外微调的情况下复制文本模式的能力，但作者建议进行进一步微调以增强LLM的适应性。
此外，他们强调，目前与大型语言模型（LLMs）相关的机器翻译（MT）研究主要集中在为零次翻译进行预训练或微调以增强零次翻译能力。尽管一些工作已经探索了为自适应MT对编码器-解码器MT模型进行预训练或微调，但他们表示有必要专门进行研究，即“微调可用的开源模型，以提升其用于实时自适应MT的上下文学习能力”。
这些模型可以进行微调，以在上下文学习场景中表现更好，其中特定提示模板包括领域内的句子、短语或术语。“这个方向可以提高翻译质量和效率，尤其是在上下文学习使可只有较少示例的情况下，”他们强调道。
在微调过程中，作者使用了10,000个零次翻译和10,000个一次翻译提示的段落，零次提示代表没有任何上下文的常规翻译，而一次提示引入模糊匹配以适应领域术语和风格。他们使用西班牙语到英语的语言对，并使用BLEU、chrF++、TER和COMET指标进行评估。
质量提升和高效自托管
英语到西班牙语医学领域的实验证明，通过相对较小的数据集（20,000个段落），微调显著提高了Mistral的实时自适应MT的上下文学习能力。
“这些发现强调了微调对 Mistral 7B 这样高效的大型语言模型的重要性，” 作者表示。他们还强调，一个经过微调的小型“独立”语言模型在翻译时可能比使用两个模型（传统机器翻译和大型语言模型）更为高效。
此外，微调开源大型语言模型提供了“高效自托管”的好处，允许个人在保护隐私的同时部署自己的大型语言模型，同时实现与商业模型相媲美的质量提升。
最后，作者表示打算在其他领域和语言对上进行实验，包括资源稀缺语言和其他多语言大型语言模型。
注：用于这些实验的代码公开在 GitHub 上。
（机器翻译，轻度译后编辑，仅供参考。）
编辑：刘煜珍
