Logrus Global、Ocean Translations 和曼彻斯特大学的研究人员发现，与超大型语言模型相比，在临床领域对小型语言模型进行微调能产生明显更好的翻译效果。该研究小组在 2023 年 12 月 12 日发表在预印本服务 Arxiv 上的论文中指出，这一结论在临床领域尚属首次。研究人员着手研究了三种模型在英语和西班牙语临床文本机器翻译质量方面的表现：一种是根据临床数据微调的小型多语种预训练语言模型，另一种是 Meta AI 公司的两种大型多语种预训练语言模型。更具体地说，调查分析了临床领域特有的三个子任务：通过翻译202份Covid-19报告来评估模型在特定临床案例中的准确性；评估其在使用特定临床术语方面的准确性，以及评估其捕捉本体概念的准确性。该研究对每个子任务进行了自动化质量评估，然后通过独立的人工评估步骤进行验证。这项人体评估由五位具有翻译和生物医学研究背景的专家进行。他们的结论强调，规模越大并非越好。事实上，在对数据进行清理微调后，研究人员能够将输出质量提高 “很多”。Lorusg Global 首席执行官 Serge Gladkoff 告诉 Slator：”这是一个非常重要的结论。[…]实际上，大型语言模型的质量更差，这可能是因为 LLM 是在更大料的语库中进行训练的，其中包含相互冲突的领域，而且调微功能比小型模型更弱[…]”。格拉德科夫在研究中还得出结论：”在神经技术领域，数据是王道。数据比模型更重要”。
深入了解低资源语言
作为实验的一部分，研究人员还试图了解跨模型对低资源语言的迁移学习的影响。该研究的一个大规模多语言预训练语言模型”NLLB-200″包含 200 多个语言对的数据，而另一个Meta AI模型模型”WMT21fb”只有 14 个语言对，其中不包括英语和西班牙语。研究人员认为，对于WMT21fb模型而言，英语<>西班牙语因此成为低资源语言对，并分析了从NLLB-200模型的西班牙语数据集向WMT21fb模型进行迁移学习的潜力，特别是在临床领域。
“实际上，大型语言模型的质量更差，这可能是因为 LLM 是在更大的语料库中进行训练的，其领域相互冲突，而且微调功能比小型模型更弱[…]”。
– Logrus Global 首席执行官 Serge Gladkoff 该研究表明，迁移学习是可行的，它证明 WMT21fb 模型能够在一种新的、低资源语言中获得干净的语段，并且能够在这种语言中生成”足够好”的引擎。Logrus Global 公司的Gladkof称，这是这项研究 “令人震惊且意想不到的副作用”，并总结说，这些大型模型 “表现出了惊人的能力，能够学习它们没有接受过训练的语言”。这项研究是作者开展的最新研究，他们最近分析了利用编辑后数据微调大型语言模型时对质量评估的影响。
（机器翻译，轻度译后编辑，仅供参考。）
编辑：刘煜珍
