读书报告 | 2023机器翻译技术及产业应用蓝皮书(文末附PDF全文)
2024年08月31日 00:02
以下文章来源于国际翻译动态 ,作者李晶
2023机器翻译技术及产业应用蓝皮书
党的十八大以来,党中央高度重视国际传播能力建设和对外话语体系建设。翻译则是国际传播能力建设的重要环节。面对中华民族伟大复兴的战略全局和百年未有之大变局,习近平总书记在党的二十大报告中再次对增强中华文明传播力影响力,加强国际传播能力建设,推动中华文化更好的走向世界提出明确要求。这些论述为我国新时代翻译事业发展提供了根本遵循。当前,我国翻译事业正在经历由“翻译世界”向“翻译中国”、由“翻译大国”向“翻译强国”的历史性转变,推动翻译高质量发展,对满足人民对外交往需要、建设社会主义文化强国具有重要意义。
《2023机器翻译技术及产业应用蓝皮书》(以下简称“蓝皮书”)指出,科技赋能翻译事业发展是时代大势。近年来,翻译技术的发展,对翻译行业起着巨大的推动作用,同时也开辟了新的“赛道”。借助技术手段,多语种内容的批量翻译输出成为现实,远程翻译、线上同传等翻译新业态快速发展。与此同时,以 ChatGPT、文心一言(ERNIE Bot)为代表的新一代预训练模型技术在语言理解与生成,特別是低资源、长篇章以及多模态的场景应用中表现出强大能力和发展潜力,与人的互动性和反馈学习能力不断增强。把握人工智能等新技术新机遇,加强国际传播能力和国家翻译能力建设,是事关国家发展的重大战略任务。随着这些新技术的迅猛发展,技术赋能翻译的模式势必还将向数字化、智能化的更高水平迈进。翻译行业各方应积极探索和推进人工智能、大数据、虚拟现实等技术在习近平新时代中国特色社会主义思想对外宣介、对外翻译出版中的应用,将新时代中国正在发生的故事多维度、真实全面地介绍给世界,不断增进国际社会对中国特色社会主义道路、理论、制度、文化的理解和认同。
机器翻译发展历程中涌现出三种具有代表性的方法:基于规则的机器翻译、统计机器翻译,以及现阶段主流的神经网络机器翻译。
基于规则的机器翻译:从机器翻译设想提出到二十世纪八十年代,基于规则的机器翻译方法处于主导。其基本思想是由语言专家总结不同语言间的翻译规律并撰写翻译规则,计算机工程师将这些规则转换为机器语言,实现自动翻译。
统计机器翻译:上世纪八十年代末、九十年代初,受到统计方法在语音识别任务上取得的进展的鼓舞,国际商业机器公司研究人员提出了统计机器翻译方法。统计机器翻译利用噪声信道模型对翻译过程进行建模,基于大规模语料自动训练模型参数,突破了基于规则的方法依靠人工构建翻译规则的限制,大幅降低了系统开发成本、提升了翻译质量。
神经网络机器翻译:近年来,深度学习的迅速发展推动了机器翻译的技术变革,神经网络机器翻译成为现阶段主流的机器翻译方法。神经网络机器翻译通过建立深度神经网络模拟人类的翻译过程,将源语言映射(编码)到高位向量空间,并通过神经网络转换(解码)为目标语言。
我国一直高度重视机器翻译的研究和应用,在机器翻译发展初期就开展相关技术研究, 在新的发展机遇期,国务院发布的《新一代人工智能发展规划》以及工信部发布的《促进新一代人工智能产业发展三年行动计划(2018-2020年)》均将机器翻译列为重要发展方向。
2.2机器翻译技术发展态势
经过70多年的发展,机器翻译在翻译质量、系统性能、实用性、规模化应用等方面均取得了较大飞跃。机器翻译呈现百花齐放、满园春色的蓬勃发展新态势,其产业应用也呈现一派欣欣向荣的景象。目前机器翻译技术有以下五大发展趋势:
(1)深度学习技术不断发展,神经网络机器翻译成为主流
借助深度神经网络模型在语义表示及理解方面的能力,以及大数据、大算力的支持,神经网络机器翻译的译文质量大幅跃升,迅速实现了对统计机器翻译的超越和替换,将机器翻译带入新的发展阶段。
(2)研发门槛降低,机器翻译进入规模化应用阶段
国内外相关行业公司热情高涨,如谷歌、微软(Microsoft)、Meta(原Facebook)、百度、阿里巴巴、腾讯、有道、讯飞等均投入大量资金和精力研发大规模翻译系统。值得一提的是,国内公司研发的机器翻译系统在技术上具有很强的竞争力,多次在国际机器翻译系统评测中拔得头筹。在深度学习平台方面,国外有Meta的Pytorch、谷歌的Tensorflow,国内有百度的飞桨(Paddle Paddle)等,都集成了最新的机器翻译技术。无论是研究人员还是开发者,只要有数据,就可以迅速利用开源平台搭建一个机器翻译系统。
(3)机器翻译与行业紧密结合,得到广泛应用和认可
神经网络机器翻译可以在大规模数据预训练基础上,结合行业知识和领域数据,进行优化精调,进一步提升垂直领域的翻译质量。尤其在新闻资讯、学术文献、金融财经、生物医药、信息技术等领域,经过优化训练的机器翻译系统译文的准确度可以达到90%以上。
根据《2023中国翻译及语言服务行业发展报告》,90%的语言服务企业愿意在未来投入更多资金用以提升企业在机器翻译相关领域的技术实力,91.3%的语言服务需求方受访者认为使用翻译技术能够提高翻译质量。九成受访者认同翻译技术的使用能够降低翻译成本(94.7%)及提高效率(95%)。
(4)多语言翻译市场需求巨大,相关研究和应用发展迅速
随着“一带一路”倡议的深化发展,截至2023年1月,已有151个国家和32个国际组织与中国签署共建“一带一路”合作文件,其中涉及的语言超过110种。多语言翻译面临语言资源分布不均衡、非通用语种语言资源匮乏、语言差异大、部署成本高等挑战。近年来,学术界、产业界围绕数据增强、多语言统一建模、多语言预训练等内容开展了诸多研究,促进了多语言翻译技术的发展。截至2023年初,百度、讯飞、小牛、谷歌、微软等国内外机器翻译系统均支持上百种语言互译。
(5)翻译模式由文本翻译扩展到跨模态翻译,应用场景愈加丰富
人工智能技术在图像、语音等领域的进步为跨模态翻译提供了技术支持。如结合图像技术的拍照翻译和增强现实翻译,被广泛用于票据翻译、外语学习等场景;结合语音技术的语音翻译广泛用于日常会话、会议演讲等场景,提升了沟通效率。
2.3机器翻译技术面临的挑战和发展方向
机器翻译是当下热门话题,随着各式各样的人工智能,机器翻译给人们带来的危机感也越来越重。但是机器翻译并不是全能的,也有许多的方面和领域需要优化,精进。本文主要讲解机器翻译的挑战和发展方向,技术特征,系统架构,和产品详情。
由于人们对于翻译的高要求和理想化技艺,将机器翻译的挑战和发展方向分为五个方面:
(1)译文质量
目前的机器翻译主要以句子为翻译单元,对于前后文之间的联系和文章信息的解读不够了解。如文学性强的文本必须了解它的背景知识,历史文化等并加以“二次创作”,这又无形中为机器翻译带来了难度。因此这些机器翻译无法代替人工,需要加强文章上下文的理解,提升融合丰富知识等方面的能力。
(2)容错率和鲁棒性
机器翻译只会解读句段,以句子为翻译单元,就会导致文章稍有变化便会导致译文变动。且翻译机器的应用场景和训练环境也会产生重大影响。因此可以尝试提升翻译的鲁棒性和容错能力。
(3)低资源和技术限制
翻译机器以数据驱动翻译,依赖高质量训练数据。这也带来了多语言翻译,垂直领域翻译中受制于数据稀缺。且现有技术和资源有限,译文质量不够高,只能尽量探索低质量语言,少样本量的神经网络翻译学习机制。
(4)多模态领域探索浅
机器翻译同语音,视觉处理技术的结合广泛运用提升了译文质量,拓展应用场景,如图片翻译,机器同传。文章给出一些数据,显示语言服务行业有大量受访者需要图片转文字,语音转写的功能。这些方面也可以作为翻译发展的方向。
(5)翻译标准模糊
机器翻译的标准以评价体系,人机协作模式,语料库建设为主要领域。目前,主要基于BLEU等自动评判体系以及面向通用场景的流畅度,准确度等人工评价指标。人机协作也需要明确的标准来确定人与机器的责任认定和关系分配。根据市场数据反馈,企业会区分译后编辑的程度并制定不同的标准。因此需结合技术发展形势和市场需求,加快研制相关标准。
如上文所述,机器翻译技术不断加强,应用场景和应用规模持续扩大,成熟的机器翻译也大多具有一下特点:多领域,多语言,跨模态的全面翻译能力;基于飞轮效应的持续进化能力;核心技术自主研发能力;全生命周期安全保障能力。除此之外,成熟的机器翻译系统在翻译过程中会考虑到系统功能,硬件要求,系统部署,数据安全等诸多因素,翻译过程主要包括四方面。
(1)模型训练:收集大规模训练数据,根据要求训练机器翻译模型
(2)部署发布:翻译模型训练后,进行翻译评价完善翻译质量,达标后进行翻译部署,迭代优化,高效率调度系统运作。
(3)产品及应用:翻译插件,程序接口,文本或文档翻译,融合语音图像处理。
(4)数据及系统安全:构建全生命周期安全策略,如认证和授权机制,数据隔离,加密等保障语料,模型和客户信息安全。
此外,产品形式与技术发展,市场需求密不可分,很多场景下,用户希望基于已有翻译技术对自身产品进行二次开发,调用机器翻译引擎翻译。但大体可以根据不同方面分为三部分。
(1)按照模态分:文本翻译,语音翻译,图像翻译等。
(2)按照载体分:电脑端,移动端,智能硬件产品
(3)按照系统部署来分:在线部署(服务器端)和离线部署(局域网)。
机器翻译产业蓬勃发展,产品形态丰富多样。根据其用途,可总体分为三类: 1.信息获取。 2.信息传播。 3.跨语言交流。 但无论何种用途,其对机器翻译的要求却始终是一致的:高效高质的同时也要控制成本。 随着机器翻译的进步,以及其本身具备的天然优势,机器翻译越来越被广泛地接受与应用。不难发现,机器翻译正在逐渐融入人们的生产生活,并进入了大规模应用阶段。依托互联网,机器翻译技术正一步步普及化,其丰富多样的产品形式正在惠及全球;而机器翻译不仅在语言服务行业得到广泛应用,同时也对推动一些传统行业的国际化进程作出了贡献。不可否认,机器翻译对译员带来冲击的同时,也成为了译员们的得力助手,同时极大拓宽了翻译市场,催生出了许多新职业。 4.2机器翻译产业应用案例 机器翻译产业的成功应用,催生机器翻译产业的不断发展。机器翻译在企业智能升级,行业数字化建设,国际传播,国际会议及赛事,智能硬件等场景中应用。依托这些成功应用案例,我们才能更好的了解机器翻译。 1.机器翻译的应用为企业的全球化发展提供了支持。 (1)随着国家话进程的不断加速,有些企业需实时收集和分析多语言信息,而面对如此海量的翻译任务,选择使用机器翻译技术实为上策,译多语言统一机器翻译模型为基础,大大缩短了时间,提高了效率。 (2)面对不少公司分庞大翻译需求,有的企业选择了企业智能翻译平台建设,涵盖多种语言翻译方向,具备文本,文档,图片等多种翻译能力,从而满足多场景,多语种,多模态的翻译需求,服务公司,如中石化的全球化战略。 (3)随着“一带一路”的发展,中国与“一带一路”沿线国家间的贸易,投资规模快速增长,对多语言机器翻译的需求也十分旺盛,因而新华社打造出了面向政府,企业,机构的综合信息服务平台——新华丝路,为共建“一带一路”提供信息服务。 2.机器翻译的应用助力各行业数字化建设。 数字中国的建设离不开各行业数字化,而行业的数字化建设无疑是推进中国式现代化的重要引擎,是构筑国家竞争新优势的有力支撑。而机器翻译与行业的紧密结合,在高质高效等方面有显著成效。 (1)译后编辑新模式,帮助翻译行业降本增效。随着翻译行业的不断发展并逐渐成为重要的服务产业之一。提高翻译质量和效率成为业内急需解决的问题。 译马网神经网络机器翻译技术的应用,相比于传统翻译而言,成本大大降低,翻译字数数倍增长,为客户带来了更大的业务价值与经济效益。 (2)专业级垂直领域机器翻译,助力科研人员实现外文资料母语阅读。随着机器翻译技术在法律、医学、金融等专业领域的应用持续深入,根据现实需求,为应对相关行业专业术语和句式的译法、甚至译文风格等的需求,相关公司为满足客户专业画得需求,全面优化机器翻译模型,不断满足专业领域翻译工作的需求。 3.机器翻译的应用助力中华文化“走出去” 世界需要聆听中国的声音,中国也需要向世界讲述中国故事。机器翻译技术为传播好中国声音提供了有力的技术支持。 视频翻译,加速中国优质内容出海。针对传统视频翻译存在的问题,人人译世界通过利用定制化视频领域机器翻译模型,大大改善了之前存在的短处与弊端,为视频创作者们节约了时间和金钱成本,从而使其更能专注于产出更多高质量的视频。 4.机器翻译赋能跨语言国际交流 全球化背景下,随着国际会议频繁举行和经济文化交流深入发展,多模态实时翻译技术在中国国际会议中的应用愈发广泛。其中,AI同传成为国际会议跨语言信息获取的重要工具,帮助解决国际会议语言沟通问题。同时,随着人工智能技术的发展,手语数字人等产品在体育赛直播场景的应用也越来越广泛,特别是在听障人群中扮演着重要角色。当今社会对跨语言交流的需求越来越大,在此背景下,人工智能技术的应用正逐渐改善人们的交流体验。 AI同传的实现过程主要包括以下几个步骤: (1)语音识别:将演讲者的语音转化为文字,这是实现AI同传的第一步。这个过程中,AI需要识别各种口音和专业词汇,因此其技术难度较高。 (2)文本预处理:将识别出的文字进行预处理,包括修正识别错误、去除口语化表达、减少语气词、去除重复内容等,以使文本更加流畅和易于理解。 (3)机器翻译:将预处理后的文本翻译成目标语言。 5.加持硬件产品开启智慧生活 而翻译机、翻译耳机、翻译笔和智能手机这些设备通过智能化、小型化的设计,具有携带方便、支持多模态翻译等特点,大大拓展了机器翻译的应用场景。翻译机聚焦跨语言交流,除语音翻译外还集成图像翻译功能;翻译耳机实现无障碍交流,若集成机器同传模型,可达成同传功能;翻译笔集成OCR技术,可识别文字并进行翻译,成为外语学习、文献阅读的好帮手;智能手机则通过利用人工智能技术,实现多种自动翻译功能,提升用户体验。这些硬件设备的出现,使得机器翻译更加具象化、实用化。 本文还介绍了未来机器翻译领域的五大趋势。首先,跨语言理解和生成能力将进一步提高,大语言模型能更好地建模源语言并提升译文的忠实度和流畅度。其次,低资源语言翻译能力将得到加强,大语言模型具备通用建模能力,能实现零样本翻译并提升低资源、垂直领域翻译质量。第三,机器翻译模型的灵活性及智能交互能力将提升,适应不同场景和任务需求。最后,机器翻译应用场景和领域将持续丰富拓展,全自动翻译和人机共译将满足不同层次的需求,助力人们更高效地获取和传递全球信息。 那么如何利用大语言模型来提升机器翻译的效率呢? 可以从以下几个方面入手: (1)数据融合与预训练:大语言模型通常依赖于大量的数据进行预训练。为了提升机器翻译的效率,可以利用多语种、多领域、大规模的数据进行模型预训练。通过融合不同来源、不同语言、不同领域的数据,模型可以更好地学习到语言的结构和语义信息,从而提高翻译的准确性和效率。 (2)模型压缩与优化:大语言模型往往具有庞大的参数规模,这使得模型推理速度较慢。通过模型压缩和优化技术,可以在保证模型性能的同时,减小模型的大小和推理时间,从而提升翻译效率。 (3)多模态翻译:除了传统的文本翻译,大语言模型还可以支持多模态翻译,如语音翻译、图像翻译等。通过利用多模态数据,可以在翻译过程中提供更多的上下文信息,从而提高翻译的准确性和效率。 (4)并行计算与分布式训练:利用多台机器并行计算和分布式训练,可以加快大语言模型的训练速度,缩短模型的开发周期。同时,通过分布式推理,可以充分利用多台机器的计算能力,提高翻译效率。 (5)在线学习与自适应:大语言模型可以在翻译过程中不断学习和适应新的数据。通过在线学习技术,模型可以根据用户的反馈和实时数据来更新自身的参数,从而不断提高翻译质量。此外,自适应技术也可以帮助模型在不同场景下更好地适应不同的翻译需求。 随着人工智能技术的不断发展,未来的机器翻译将更加注重用户体验,满足用户的个性化需求。例如,用户可以根据自己的喜好和习惯,调整翻译的风格和语气,使翻译结果更符合自己的需求。 未来的机器翻译将更加注重翻译质量,通过不断改进模型和算法,提高翻译的准确性和流畅性。同时,机器翻译也将更加注重语义理解和上下文理解,以更好地捕捉源语言的信息,实现更准确的翻译。 此外,未来的机器翻译还会利用更多的自监督学习和强化学习技术,以改善翻译质量。同时,随着去中心化趋势的加强,未来的机器翻译也将更加注重数据共享和隐私保护。机器翻译的未来发展趋势是多元化、个性化和高质量的,这将为用户带来更加便捷、高效的翻译体验。 文中提到近年来,预训练大模型技术发展迅速,给机器翻译带来新的机遇。这得益于深度学习技术和硬件算力的飞速发展,预训练模型在自然语言理解、语言生成、机器翻译、人机对话等领域取得了巨大进步。预训练模型使得人们对自然语言处理领域的研究重点从过去的结构工程转移到目标工程上,即从设计不同的网络结构并引入相应的归纳偏置,转移到基于统一的神经网络模型来设计启发式的预训练目标。其中,大语言模型(LargeLanguage Model,LLM)技术进步显著。诸如 ChatGPT、文心一言等应用模型基于大量无标注数据的预训练以及人类反馈强化学习机制,大幅提升了语言理解及生成能力。在此类技术的加持下,机器翻译呈现新的发展态势,预计机器翻译模型将在语言理解能力、知识融合能力、低资源语言翻译能力及多任务处理能力等方面取得新的突破。因此大语言模型技术对新时代的翻译有着不可替代的作用。 在未来,机器翻译将更加注重翻译质量,通过不断改进模型和算法,提高翻译的准确性和流畅性。同时,机器翻译也将更加注重语义理解和上下文理解,以更好地捕捉源语言的信息,实现更准确的翻译。此外,未来的机器翻译还会利用更多的自监督学习和强化学习技术,以改善翻译质量。同时,随着去中心化趋势的加强,未来的机器翻译也将更加注重数据共享和隐私保护。机器翻译的未来发展趋势是多元化、个性化和高质量的,这将为用户带来更加便捷、高效的翻译体验。
群内会定期推送语言服务行业最新动态、活动预告、竞赛通知📝等内容~ 欢迎你的加入🥰!