如何利用低资源语言的人类反馈，提高数据质量并对伦理人工智能进行微调，以改进LLM。

Magdalena Konkiewicz，Toloka的数据传道者，讨论了改变评估过程的必要性，采用包容性多语言主义，以创建道德和可靠的人工智能系统，以解决低资源语言中LLM流利度的挑战。

LLM真的负责任和准确吗？

2022年，Beth Stackpole为麻省理工斯隆管理学院报告称，79%的公司承认其负责任人工智能的实施范围和规模有限。要创建真正负责任的人工智能，必须讨论一个重要的安全问题：LLM（大型语言模型）在低资源语言中的流利度。

根据布朗大学的一项研究，不良行为者已经找到了一种影响LLM产生不道德结果的漏洞：

将不安全的英文输入翻译成低资源语言[…] 这提供了可以让用户达到其有害目标的可行操作项，79%的时间内都可以实现。

在本文中，我将分享关于LLM发展的见解，以及如何改变评估过程以确保负责任、准确的人工智能。

为什么LLM对所有语言的效果不一样？

LLM的效果直接取决于它们所训练的数据的质量。这些数据分为三种类型：

• 带注释的文本数据：通常从在线来源收集，用于基础模型。
• 问答对：这些用于监督微调（SFT），使基础模型能够按照指示准确理解并回答查询。
• 对模型响应的人类反馈：需要使用强化学习与人类反馈（RLHF）和近端策略优化（PPO），或者直接应用直接性能优化（DPO）来调整模型，使其符合人类期望。

开发多语言LLM需要获得每种语言的这三种数据类型。虽然在英语中可能有大量的数据可用于训练LLM，但许多语言的资源适合此目的。这些语言通常被称为低资源语言（LRLs），由大量人口使用。例如，斯瓦希里语在非洲14个国家被2亿人使用，但被视为低资源语言。

此外，原始数据的稀缺性加上自然语言处理（NLP）研究社区对某些语言的关注不足，导致训练NLP算法的基准和策划数据集较少。为了创建真正的多语言LLM和包容性人工智能，我们需要重新聚焦并包括低资源语言，尽管这可能会带来初期的挑战。

见更多：AI & The Future Workplace Research Findings by Aberdeen S&R

SFT（监督微调）在低资源语言中的应用

像英语这样的更常用语言拥有丰富的数据集，包括数千个问答对，可用于微调LLM。虽然这些数据集可能不会产生竞争力很强的LLM模型，但它们作为细化过程的初始步骤。另一方面，许多低资源语言缺乏即用的指令微调数据集，需要在基本LLM微调开始之前进行创建。

创建监督微调（SFT）数据集需要细致的规划，以包含各种各样的问题，确保在LLM熟练度的所有期望类别中都有代表性。为每种技能分配正确的比例至关重要，例如总结、生成性写作、问答、分类、翻译等。此外，确保精通问答组合的母语人士至关重要。

通常，SFT数据集的创建过程涉及两个不同的项目：问题生成和提示完成，都需要被称为AI导师或AI训练者的母语人士。此外，如果需要专门从事医学、金融或编码等领域，那么具有这些领域专业知识的AI导师就是必要的。通常需要管理大量的AI导师，以确保产生高质量的提示和答案。

在低资源语言的情况下，由于母语专家稀缺，上述过程不可行，必须探索替代解决方案。在这种情况下，一种可行的方法是使用自动翻译将英语数据集翻译成目标语言，然后通过母语人士对输出进行精细调整。这种方法减少了所需的注释员数量，并且更具成本效益。

值得注意的是，创建一种精通一百种语言的多语言LLM需要针对涉及的每种语言重复执行此过程。

低资源语言的人类反馈

在训练LLM的最后阶段，将其与人类期望进行调整至关重要。这个过程有助于解决诸如最小化幻觉和确保模型提供有用和无害响应等问题。通过从人类专家那里寻求反馈来实现对齐，他们比较模型生成的两个潜在响应，并选择首选响应。

这个反馈收集过程通常涉及收集数十万甚至数百万个比较，特别是对于像Llama 2模型这样的复杂模型。根据LLM所针对的具体能力，需要相关领域的专家来识别不当的响应。由于母语专家稀缺，这对于低资源语言可能是一个挑战。因此，LLM开发者通常会优先考虑收集英语或其他少数几种使用广泛的语言的反馈。

与收集监督微调（SFT）数据类似，收集人类反馈以构建多语言LLM成为一个大规模的注释项目。它涉及利用精通各种语言和领域的AI导师。虽然比收集SFT数据更简单，但它需要大量的注释，并经常需要持续更新，以增强LLM的安全性和对齐性。

创建负责任的人工智能 弥合通用语言和低资源语言之间的差距对于确保LLM的安全性和对齐性，并最终创建更负责任的人工智能至关重要。尽管这可能会带来初期的挑战，但通过优先考虑在LLM数据集的创建和评估中参与精通非英语语言的专家，可以解决这种不均衡情况。

有效实施这种方法可以确保不容忍不道德的结果，尤其是在资源较少的语言中，从而填补布朗大学低资源语言越狱 GPT-4 报告中指出的漏洞。没有足够的关注多语言焦点和评估，利用LLM的公司面临潜在的法律、竞争和声誉风险。

组织如何在LLM开发中应对多语言挑战？请在Facebook，X和LinkedIn上告诉我们。我们很乐意听取您的意见！

原文链接

（机器翻译，轻度译后编辑，仅供参考）

编辑：胡跃