什么是可解释的人工智能？

随着人工智能在医疗保健、教育、建筑、环境、自主机器和执法等高风险行业变得越来越突出，我们发现越来越需要信任决策过程。这些预测通常需要非常准确，例如医疗保健领域中的一些预测可能关乎病人生死。由于人工智能对我们日常生活的关键和直接影响，决策者需要对人工智能系统的机制和预测过程有更多的洞察力和可见性。目前，通常只有数据科学家或工程师等技术专家了解正在使用的后端流程和算法，如高度复杂的深度神经网络。缺乏可解释性已被证明是技术和非技术从业者之间脱节的一种方式。为了使这些人工智能系统更加透明，可解释人工智能（XAI）领域应运而生。

可解释人工智能（XAI）是人工智能中的一个新兴子集，专注于机器学习（ML）模型的可读性。这些工具帮助您理解和解释您的预测，降低复杂性，并允许未经技术培训的从业者和涉众更了解建模过程。其核心是，XAI旨在解构人工智能中的黑箱决策过程。XAI可以回答诸如“为什么做出这个预测？”或者“我对这个预测有多少信心？”或者“为什么这个系统失败了？”等问题。

NLP与XAI

自然语言处理（NLP）是AI（人工智能）和ML（机器学习）的子集，旨在理解人类语言。NLP使用文本数据执行主题分类、翻译、情感分析和预测拼写等任务。NLP在历史上一直基于可解释的模型，称为白盒技术。这些技术包括易于解释的模型，如决策树、基于规则的建模、马尔可夫模型、逻辑回归等等。然而，近年来，可解释性的水平已经降低到黑盒技术，如深度学习方法和语言嵌入特征的使用。随着可解释性的降低，信任度也会降低，尤其是在人机交互（HCI）中，比如聊天机器人。

IBM-XAI对自然语言处理的调查

IBM的一组研究人员进行了一项名为用于自然语言处理的可解释人工智能的状态调查。作为NLP和XAI交叉的少数作品之一，该调查旨在提供对XAI和NLP现状的理解，解释当前可用的技术，并使研究界关注当前存在的差距。所使用的解释类别包括解释是针对单个预测（局部）还是模型的整个预测过程（全局）。这两个类别之间的主要区别在于，第一个解释是在预测过程中输出的（自我解释），而第二个解释需要在模型预测过程之后进行后处理（事后）。作者进一步介绍了额外的可解释性方面，包括为最终用户提供解释和表示类型的技术。

5种主要的可解释性技巧

这项研究中的研究人员提出了NLP中的五种主要可解释性技术，这些技术描述了原始技术组件的特征，以便向最终用户提供最终解释。如下所列：

1. 特征重要性：使用给定特征的重要性分数，该分数最终用于输出最终预测。基于文本的特征对于人类来说更直观，使得基于特征重要性的解释成为可能。
2. 代理模型：另外一个模型，或代理模型，用于解释模型预测过程。这些代理模型既可以实现局部解释，也可以实现全局解释。这种方法的一个缺点是，经过训练的代理模型和原始模型在进行预测时可能使用不同的方法。
3. 示例驱动：使用与输入示例语义相似的示例（通常来自带标签的数据）来解释给定的预测。示例驱动解释的一个例子是使用临近算法，该方法已用于文本分类和问题回答等领域。
4. 基于出处：利用部分或全部预测推导过程的演示。当预测是一系列决策规则或推理步骤的结果时，这通常是一种有效的可解释性技术。
5. 陈述性归纳：涉及人类可读的转换，例如提供可解释性的规则和程序。

可视化技术

XAI可能以不同的方式呈现给用户，这取决于所使用的模型复杂性和可解释性技术。最终使用的可视化高度影响NLP中XAI方法的成功。让我们来看看在NLP中常用的注意力机制（attention mechanism），它学习一组给定特征的权重（重要性分数）。注意力机制通常被可视化为原始分数或显著性热图。注意力得分的显著性热图可视化示例如图1所示。

图1-在每一个转换步骤中分配的权重

基于显著性的可视化侧重于使更重要的属性或因素对最终用户更可见。在XAI，显著性经常被用来描述人工智能系统中不同元素的重要性分数。基于显著性的可视化示例包括突出显示文本和热图中的重要单词。

用于NLP的XAI的其他可视化技术包括原始声明性表示和自然语言解释。原始声明性表示假设最终用户更高级，能够理解习得的声明性表示，如逻辑规则、树和程序。自然语言解释是任何人类可理解的自然语言，由复杂的深度学习模型生成。例如，这些可以使用简单的基于模板的方法或更复杂的深度生成模型来生成。其核心是将规则和程序转化为人类可读的语言。

结论 

该调查展示了XAI和NLP之间的联系，特别是XAI如何应用于基于NLP的系统。XAI领域旨在为ML模型添加可解释性，作为一个非常需要的特性，增加模型的整体预测质量和可解释性。可解释性可以分为NLP模型的不同部分，也可以通过上面看到的不同可视化技术来描述。由于NLP在我们周围的大规模存在，包括聊天框、预测性输入、自动更正和机器翻译，对于任何最终用户来说，特别是在基于NLP的组织中，理解模型的幕后繁重工作是很重要的。XAI允许最终用户获得对正在使用的NLP应用程序的信任，因此允许正反馈循环，最终使算法变得更好。由于XAI仍然是一个不断发展的领域，在提高NLP系统的可解释性方面有很大的创新空间。

TAUS为一些世界上最大的技术公司提供专业的语言数据服务。我们的数据收集、注释、处理和NLP能力以及大规模的全球数据贡献者仍然是人工智能（AI）和机器学习（ML）领域领导者的竞争优势来源。

（机器翻译，轻度以后编辑，仅供参考）

 编辑：胡跃