失聪者社区联合开发手语翻译应用程序
2024年09月27日 00:00
近期,研究人员和失聪群体共同开发了一款手语机器翻译(sign language machine translation, SLMT)应用程序。该研究团队还设计了一场手语戏剧表演,观众可在人工智能的帮助下观看演出。
“从自动翻译技术的发展历程来看,失聪群体的需求一直都未被兼顾到。”都柏林城市大学全纳与特殊教育学院(School of Inclusive and Special Education)研究员肖恩·奥博伊尔(Shaun O’Boyle)解释道。
欧洲失聪者联盟(European Union of the Deaf, EUD)的项目经理戴维·范·兰杜伊(Davy Van Landuyt)补充道:“这已经多次引起失聪群体的集体反对和抵制,因为这些项目在设计和开发时完全没有考虑到其直接用户的意见,导致没有人愿意使用这种技术,造成了大量资金的浪费。”
在这项研究中,研究团队决定采取完全不同的方法,由奥博伊尔、范·兰杜伊及欧洲SignON项目的其他合作伙伴向参与者调查:“如果要将人工智能引入爱尔兰手语的莎士比亚文本,我们应首先选择哪些内容?”(注:SignON项目全程为Sign Language Translation Mobile Application and Open Communications Framework,即“手语翻译移动应用程序和开放式通信框架”。该项目由社区推动、以用户为中心,旨在促进欧洲失聪者、听障者及健听者信息交流。)
研究团队通过人工智能技术与观众建立联系,并收集了他们对于这项技术的意见。在多方建议下,该项目的创意促进了手语机器翻译应用程序原型的开发。它将现场戏剧表演与人工智能工具相结合,大大拉进了失聪者、听障者与健听者的距离。
这次活动名为“整个世界是一面屏幕”(All the World’s a Screen),在都柏林科学周(Dublin’s Science Week)期间举行,其中包括以莎士比亚作品为题材的戏剧表演,由两名失聪演员莉安·奎格利(Lianne Quigley)和阿尔文·琼斯(Alvean Jones)用爱尔兰手语表演。观看表演的观众既有失聪者、听障者,也有很多健听者。
A:观众在AI工具Google Lens的帮助下观看演出;
B:戏剧演出近景;
C:Google Lens的使用截图,该工具正试图识别演员的服装
图源:https://jcom.sissa.it/article/pubid/JCOM_2305_2024_N04/
“对失聪者来说,他们能用自己的语言(如手语)来参与艺术表演和科研调查,而非使用英语,这点非常重要。而表演过程中,还会有一名手语翻译为健听者提供翻译服务。”奥博伊尔解释道。
“道德考量也十分重要。”范·兰杜伊补充道,“失聪群体的一大苦恼源于一些技术研究者的态度。研究者常常自认为比失聪群体更了解他们的情况,但后者却难以接受前者开发的产品。原因很简单,因为这些产品往往缺乏调研,并不能真正服务于失聪群体,如‘手语手套’就根本不实用。”范·兰杜伊解释道。他认为,这造成了资源和时间的浪费。(注:手语手套(signing gloves)是一种基于传感器的电子设备,能将手语动作转化为口语或书面语。该技术的批评者认为,该设备的潜力被夸大了,因为通过手语传递信息的方式并不只是手部动作,面部表情、手势空间等因素同样很重要。)
“仅仅让失聪者参与项目并不能全面解决问题。他们在研究工作中并不具备话语权,因为项目组往往只会在定好研究框架后才会邀请失聪者参与合作,”他补充道,“但如果不让失聪者参与技术开发,这些研究的产品就无法真正为他们服务。”
术语表
sign language machine translation (SLMT) 手语机器翻译
open communications framework 开放式通信框架
特别说明:本文仅供学习交流,如有不妥欢迎后台联系小编。
原文链接:https://www.htworld.co.uk/news/deaf-communities-co-design-sign-language-translation-app/
原文作者:刘昱呈