如何识别人工翻译/机器翻译的“火眼金睛”?

 

(图片来源:https://slator.com/researchers-see-promising-direction-auto-detection-human-vs-machine-translation/)

PART 1

自2016年神经机器翻译(NMT)横空出世以来,许多公司一直吹嘘机器翻译(MT)几乎堪比人类水平。诚然,机器翻译的质量不断提高(尽管在各语言及各领域之间并不均衡),但在许多情况下,只有人工翻译(HT)专家在环(expert-in-the-loop)翻译才能奏效。

把人工翻译译文从机器翻译中筛选出来只会变得越来越困难,尤其是机器翻译如今被用来创建一些源文本。在这一领域,荷兰格罗宁根大学(University of Groningen)的研究人员发现了开发所谓“分类器”的机会,这是一种用少量特定任务的标记数据进行微调的单语或多语语言模型

在2023年5月一篇题为《多语言环境下人类翻译及神经机器翻译的自动识别》(Automatic Discrimination of Human and Neural Machine Translation in Multilingual Settings)的论文中,作者Malina Chichirau、Rik van Noord和Antonio Toral考虑了多语言环境下的分类器。

他们发现,使用来自多种源语言的训练数据可以提高单语及多语分类器的准确性。

研究人员从国际机器翻译大会(Workshop on Machine Translation,WMT)新闻共享任务中,挑选非英语源文本及其相应的英语人工翻译(HT)和机器翻译(MT)用于创建数据集。单语分类器只用纯英语数据进行训练,而多语分类器则用源文本及其英语译文进行训练。

与单语分类器相比,多语分类器在识别人工翻译或机器翻译方面准确率更高,这表明分类器显然受益于能接触到源句。

用德语、俄语和中文进行的实验还表明,多源语言的训练可以提升分类器在其他语言上的表现。

PART 2

大有前途的方向

作者还写道,“然而,合并来自不同源语言的训练数据其效果似乎正在减弱,因为只有将这三种语言作为训练数据结合起来才能获得最佳分数。”“尽管如此,鉴于即使只有少量的额外训练数据(中文只有1756个训练实例)也能提高性能,我们认为这是未来工作中很有前途的一个方向。”

该小组还发现,在文档层面的文本上对句级模型进行微调是有效的,最好是用文档而不是用句子来训练模型。以这种方式进行微调,使得准确性最高而标准偏差最低,这表明分类器更稳定。

研究人员写道,展望未来,随着文本生成继续融入机器翻译,区分原文和译文可能会变得更加困难。因此,这一系列研究,下一个合乎逻辑的步骤将会是:做出能将文本识别为原始文本、人工翻译文本或机器翻译文本的分类器。

原文网址:https://slator.com/researchers-see-promising-direction-auto-detection-human-vs-machine-translation/

特别说明:本文内容选自 slator官网,仅供学习交流使用,如有侵权请后台联系小编删除

– END –


摘译编辑:唐蕊

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注