2024年5月，研究人员强调了情感在人类交流中发挥的关键作用，并引入了一个新的数据集，旨在通过将情感上下文整合到翻译过程中来增强语音到文本和语音到语音的翻译。
2024年7月，阿里巴巴将语音情感识别(SER)纳入FunAudioLLM中，以保留AI口译的原始情感。
在此基础上，波尔多大学的Charles Brazier和Jean-Luc Rouas于2024年8月6日发表了一篇论文，展示了如何将情感上下文整合到大型语言模型(LLMs)中，以调节翻译并提高质量。
他们认为，“用特定的情感来调节翻译会在翻译中使用合适的词汇。”
这项研究建立在作者之前的工作基础上，这是第一次探索将机器翻译(MT)模型与情感信息相结合。他们早期的研究表明，在输入句子中添加情感相关数据可以提高翻译质量。在这项最新的研究中，Brazier和Rouas通过用一个微调的LLM取代他们之前工作中使用的MT模型，进一步深化了这一概念。
他们引入了一个管道，在这个管道中，情感——比如觉醒、支配和效价——被嵌入到LLM提示中。他们利用SER模型从录音中提取情感维度，然后将其整合到法学硕士的输入提示中，以指导翻译过程。
为了测试这种方法，他们对五个llm进行了微调，用于英语到法语的翻译，并确定了性能最好的模型，Unbabel的TowerBase-7B-v0.1，以进行进一步的实验。对于每个输入的句子，SER模型分析相应的音频，自动估计其情感维度，然后将其包含在翻译提示中。
Brazier和Rous比较了在每个输入提示中添加情感维度作为额外信息的情况下和不包含情感维度的翻译表现。
根据作者的说法，与没有情感整合的人相比，将情感数据整合到翻译过程中导致了BLEU和COMET分数的“显着改善”，特别是在考虑唤醒时。
TowerBase-7B-v0.1模型显示，当包含情感背景时，表现提高最为显著，这表明，结合情感背景可以导致更准确、更符合上下文的翻译，尤其是在情感起关键作用的场景中。
“在翻译过程中加入情感信息似乎可以提高翻译质量。”Brazier和Rous说。他们还计划将他们的方法扩展到语音翻译。
（机器翻译，轻度译后编辑，仅供参考。）
编辑：陈驭格