自然语言处理中的意图识别

分享

其他推荐

自然语言处理中的意图识别

作为自然语言处理基本要素的意图识别的定义和常见用例。

什么是意图识别,为什么它很重要?

随着我们的社会继续依赖社交网络应用、电子邮件、聊天框等技术,文本数据的数量和可用性也在不断增加。由于在线或电话服务的普遍使用,公司往往疲于应付。意图识别模型来帮助标记和分类海量的文本数据。

意图识别,通常也称为意图分类,使用机器学习和自然语言处理将文本数据和表达与给定的意图相关联。换句话说,意图识别将给定的查询作为输入,并将其与目标分类相关联。例如,在自动呼叫的电话提示器中,模型根据关键短语,如“支付我的账单”或“与主管交谈”,从语音数据中学习客户正在寻找什么服务。因此,意图识别可以被认为是基于用户希望实现的目标对口头或书面文本进行分类的过程。

意图分类对企业来说是至关重要的一环,尤其是在客户体验方面。例如,聊天框(Chatboxes)是一个流行的平台,它将意图识别用于销售对话、客户支持等。通过意图分类实现客户服务需求自动化,使企业能够更快地扩展和满足客户需求。

意图——分类——博客——图片

意图分类是如何工作的?

1-收集数据

就像其他机器学习模型一样,意图分类需要数据采集和准备等典型步骤。输入数据可以是文本或语音的形式(例如音频文件),其中语音数据需要转换成文本以便创建训练数据集。企业通常使用他们自己聊天记录文件中找到的文本数据作为培训数据。其他选择包括众包、外包或生成合成数据。因为意图分类是一个受监督的机器学习问题,所以需要对训练数据进行标记。这些标记是训练集的一个重要方面,因为它们是商业组织定义的意图。例如,基于客户服务的商业模式的常见意图包括“购买”、“账户关闭”、“支付账单”等。一旦你的意图根据上下文被很好地定义,每个文本样本都需要被相应地标记。标记这些数据集可能是一项耗时的工作。许多组织选择在内部标记他们的数据集,或者使用第三方供应商。随著标记业务服务商的增长,例如TAUS HLP平台,通过高质量的全球网络容纳各种基于音频/图像/文本的数据收集和标记、注释任务,可以生成定制的标签。

2-构建模型

有一些预训练的模型是开源的,可以使用,比如(Transformers的双向编码器代表)BERT模型。这个语言模型是一个预先训练的transformer模型编码器,基于维基百科和其他图书语料库数据集训练。

如果您选择使用现有的预训练模型或创建自己的模型,集成上下文单词嵌入(word embedding)对于产生更强的预测非常重要。单词嵌入(Word embeddings)是文本数据的向量表示,其中具有相似上下文含义的单词具有相似的表示。来自文本数据的单词被表示为预定义向量空间中的实值向量。因此,在坐标系中,基于关系语料库,相关的单词彼此非常接近。这些单词嵌入可以在训练步骤中学习。Word2vec是一种用于创建单词嵌入的流行且强大的统计方法,可以通过使用称为Skip Gram和Common Bag of Words(CBOW)的两种方法来获得,这两种方法都使用神经网络算法。

3-训练和检验

一旦数据集被处理和标记,模型就可以被训练了。在模型训练之后,最好分别基于测试集和验证集进行测试。这个过程将在一组未标记的数据上测试训练好的模型,以查看模型的性能如何。验证步骤的性能是模型是否需要进一步调整或更多高质量数据的良好指示。一旦模型被验证,它就可以提供意图建议。

常见用例

聊天框 

根据国际互联网科学会议用户信任聊天框的原因有很多,包括对用户请求理解的质量、拟人程度和自我展示。聊天框通过交谈或对话来划分和促进实现用户的主要目标。意图识别决定了聊天框是否有助于实现和满足客户服务目标、销售目标和营销目标。聊天框的质量直接取决于训练数据的质量。这是为最终用户保持有用和愉快体验的关键。因此,聊天框的整体有效性取决于理解正确意图和检测适当响应的能力。

聊天框从数据收集开始,通过一系列步骤确定用户意图。一旦聊天框有了足够的数据,处理这些数据是帮助聊天框构建有效响应的重要步骤。这包括句法分析和语义分析,它们都有助于从语法上构建文本,并通过区分上下文来推断意义。接下来,分类器通过对适当标记的数据集进行训练来执行意图分类。最后,聊天框通过对话公式通过这些预测来制定响应。

销售目标

销售团队经常忙于手动分析大量电子邮件或电话。因为如果没有得到及时的回应,潜在客户会很快失去兴趣,所以了解客户的意图至关重要。意图识别有助于在入站和出站销售过程中发现具有明确购买意图的销售线索并对其进行优先排序。例如,来自潜在客户的电子邮件可以被标记为非常感兴趣需要支持不满意的抱怨好奇的等。因此,知道优先考虑哪封电子邮件可以对企业扩大规模和获得更多客户的能力产生重大影响,从而增加收入。

客户支持

由于历史记录和文档的可用性,企业通常拥有大量预先存在的用户数据供其使用。这种类型的数据可以通过用户与网站的交互、电话录音或其他记录的形式来收集。这些数据为意图分类器、公司尝试引入平台来自动化客户支持和响应时间提供了有价值的输入。例如,当客户拨打客户服务热线时,公司可以设置一个电话机器人。为了避免人工回答常见问题,机器人可以识别用户意图,并将他们引导到适当的渠道。虽然他们在客户支持方面取得了巨大进步,但意图识别有助于企业扩展并快速满足客户需求。

要点总结

意图是任何对话界面的最前沿。意图分类有助于弥合给定软件平台中用户交互与其意图之间的差距。随着企业规模的扩大和人数的增加,他们能够以自动化和高效的方式满足用户需求是至关重要的。由于文本数据和用户与界面交互的复杂性,意图识别算法在不断发展和改进。

TAUS HLP平台凭借其基于项目需求形成的高度胜任的全球人才社区,是任何意向分类任务的绝佳解决方案提供者。联系我们为您的项目设计定制解决方案。

 (机器翻译,轻度译后编辑,仅供参考)

 编辑:胡跃

原文链接

Was it helpful ?