LanguageX之语料对齐模块

一、简介

Language X —— AI工具箱——语料对齐功能:

可快速将双文档或单文档(段段对齐)为语料。业内领先的AI智能对齐算法,精准自动对齐;拖放式手动对齐。

  • 支持语种(12种):中文、英语、俄语、法语、德语、西班牙语、葡萄牙语、阿拉伯语、日语、韩语、泰语、越南语、马来语、印尼语;
  • 支持格式:docx/doc/txt,单个文档最大50MB

在登录后,点击AI工具箱,选择语料对齐功能,进入语料对齐界面。

 

二、双文档操作

点击语料对齐

进行文件上传,同样可以进行点击上传和拖拽上传。

该工具为自动对齐工具,在选择语言对,点击“开始对齐”后,会自动出现对齐结果(如下图),点击进入。

以下为对齐结果界面,分为AI对齐版和规则对齐版。

注:AI对齐版适用于较复杂或文档对应不规范的文件,由AI对齐,手动调整不整体上/下移

规则对齐版适用于文档对应较规范的文件,按照句段切分规则对齐,手动对齐时整体上/下移

首先,我们需要对对齐结果进行一遍整体检查,我们可以看到高亮的部分都是对齐有误的部分。

在这个过程中可以将待处理的内容加上星标,方便后续更正。

在之后的更正中,可以使用传统的拆分合并等功能进行调整。

同样,也可以使用language X的独特功能——拖拽,优点是方便快捷

操作方法:按住单元格左边的9个点点的位置,就可以将单元格放到任意地方,同时还可以实现不同行单元格的对调(如下图)

我们可以利用以上功能对对齐资料进行修改

 

三、单文档操作

下面我们利用同样的方法进行单文档对齐

产生了AI对齐版和规则对齐版两个版本:

在检查过后,我们可以利用同样的方法对对齐结果进行修正和处理。

 

四、功能特色

1、下载方式多样

  • 文件记录下载
  • 编辑页面下载

2 、语料清洗

在编辑页面点击语料筛选和清洗,选择有警示色(未对齐),之后会弹出提示
等待一会后,该页面上会出现即将要清洗掉的语料
在点击“确认清洗”后,选择语料就会被清除

3 、记录留存

在语料对齐界面,会存有语料对齐的记录,方便后续查看和使用

4、 “空白格消失术”

此处仍为单元格拖拽功能,在语料对齐的时候,我们往往会遇到空白单元格的问题,在此时,我们就可以利用拖拽功能,将两个空白单元格设置成一行,两个空白单元格会自动消失。(如下图)

地址链接(初次使用需要注册):https://languagex.com/

 

特别说明:本文仅用于学术交流,如有侵权请后台联系小编删除。

– END –


转载来源:北外CAT研究小组 1

转载编辑:陈柯淼

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注