机器翻译译文质量估计综述

机器翻译译文质量估计(Quality Estimation, QE)是指在不需要人工参考译文的条件下,估计机器翻译系统产生的译文的质量,对机器翻译研究和应用具有很重要的价值。机器翻译译文质量估计经过最近几年的发展,取得了丰富的研究成果。该文首先介绍了机器翻译译文质量估计的背景与意义;然后详细介绍了句子级QE、单词级QE、文档级QE的具体任务目标、评价指标等内容,进一步概括了QE方法发展的三个阶段：基于特征工程和机器学习的QE方法阶段,基于深度学习的QE方法阶段,融入预训练模型的QE方法阶段,并介绍了每一阶段中的代表性研究工作;最后分析了目前的研究现状及不足,并对未来QE方法的研究及发展方向进行了展望。     

基于神经网络特征的句子级别译文质量估计

机器翻译质量估计是自然语言处理中的一个重要任务,与传统的机器翻译自动评价方法不同,译文质量估计方法评估机器译文的质量不使用人工参考译文.针对目前句子级别机器译文质量估计特征提取严重依赖语言学分析导致泛化能力不足,并且制约着后续支持向量回归算法的性能,提出了利用深度学习中上下文单词预测模型和矩阵分解模型提取句子向量特征,并将其与递归神经网络语言模型特征相结合来提高译文质量自动估计与人工评价的相关性.在WMT’15和WMT’16译文质量估计子任务数据集上的实验结果表明：利用上下文单词预测模型提取句子向量特征的方法性能统计一致地优于传统的QuEst方法和连续空间语言模型句子向量特征提取方法,这揭示了提出的特征提取方法不仅不需要语言学分析,而且显著地提高了译文质量估计的效果.     

基于Transformer技术的机器翻译设计与开发

在语言翻译中,一般的人工翻译存在翻译反应时间长的问题,为解决这一问题设计了一款基于Transformer模型的机器翻译应用程序,在传统翻译的基础上,实现更加快速高效、精准翻译的目的。该程序客户端的结构功能设计满足人们对一般翻译程序的需求,通过对翻译语句相似度的计算歧义语句消除,完成了在软件功能上的应用设计,并凭借两者的相互结合实现了在传统翻译基础上的新型机器自动翻译应用程序。对程序的实验测试表明,本程序相较于一般的翻译软件运行效率更高,模型的复杂度更低,同时在翻译速度和准确度方面均有所提高。     

利用依存句法关系改进神经译文质量估计

译文质量估计技术是指在无参考译文的情况下对机器译文进行评价的方法。近年来,深度学习技术取得了重大突破,融合深度学习技术的神经译文质量估计方法逐渐取代了传统的译文质量估计方法成为主流。神经译文质量估计模型具有一定的隐式学习源语言句法结构的能力,但无法从语言学的角度有效地捕捉句子内部的句法关系。该文提出了一种将源语句的句法关系信息显式融入神经译文质量估计的方法,在源语言的依存句法关系和译文质量之间建立联系。实验结果表明,该文提出的句法关系特征能够提高译文质量估计模型的准确性。同时还提取了多个层面的语言学特征,在不同的网络模型中进行融合,并从多个角度分析了不同特征所起到的效果。最后使用集成学习算法,将多个有效模型进行融合,获得了最佳性能。     

基于Transformer的自然语言处理预训练语言模型概述

在自然语言处理领域,谷歌提出Transformer模型之后,以生成式预训练模型(Generative Pre-Training,GPT)和深度双向预训练语言模型(Bidirectional Encoder Representat ions from Transformers,BERT)等为代表的一些基于Transformer的预训练语言模型(Transformer-based Pre-trained Language Models,TPLM)相继被提出,在大部分自然语言处理任务上取得很好的效果。TPLM使用自监督学习方法学习来自大量文本数据的通用语言表示,并将这些知识转移到下游任务中,为其提供了背景知识,避免了重新开始训练新任务模型的情况。笔者主要研究了基于Transformer的预训练语言模型与基于TPLM的“预训练+微调”的自然语言处理预训练新技术模式。首先,介绍预训练模型的发展背景;其次,解释各种有关TPLM的核心概念,如预训练、预训练方法、预训练任务、自监督学习与迁移学习等;再次,简要介绍相关TPLM模型与目前的进展;最后,提出改进TPLM的方法并总结。     

基于卷积与Transformer的人体姿态估计方法对比研究

人体姿态估计是计算机视觉的基础性算法之一,为了探究人体姿态估计领域的研究发展趋势,文章首先介绍了基于卷积的经典人体姿态估计算法,论述各算法的基本原理及算法改进,其次对最新的基于自注意力模型(Transformer)的算法进行梳理,最后介绍了常用的公开数据集和模型评价指标,选取了几个经典算法进行对比分析,平均精度在马克斯·普朗克信息研究所(Max Planck Institute Informatik,MPII)数据集达到80%以上,在微软公共对象上下文(Common Objects in Context,COCO)数据集达到60%以上,得到卷积结构和Transformer结构互有优劣的结论。     

基于目标语词汇组合合理性评价的译文选择模型

机器翻译使用计算机实现自然语言的翻译功能,是计算机技术在语言学领域的新兴应用和研究,其中,源语言词汇的译文选择直接决定机器翻译的质量,是人们关注的难题,基于目标语词汇组合合理性评价的模糊分类模型试图以语言学和模糊数学为理论基础,尝试解决歧义词的译文选择问题,将该模型用于英汉机器翻译系统的译文选择实验,具有良好的译文选择性能,它的优势还在于可以同时为全句范围内的所有歧义词选择译文,因此适用于机器翻译的大规模开发任务。     

基于卷积神经网络的全景分割Transformer模型

提出一种基于卷积神经网络的Transformer模型来解决全景分割任务,方法借鉴CNN在图像特征学习方面的先天优势,避免了Transformer被移植到视觉任务中所导致的计算量增加.基于卷积神经网络的Transformer模型由执行特征域变换的映射器和负责特征提取的提取器这两种基本结构构成,映射器和提取器的有效结合构成了该模型的网络框架.映射器由一种Lattice卷积模型实现,通过对卷积滤波器进行设计和优化来模拟图像的空间关系.提取器由链式网络实现,通过链式单元堆叠提高特征提取能力.基于全景分割的结构和功能,构建了基于CNN的全景分割Transformer网络.在MS COCO和Cityscapes数据集的实验结果表明,所提方法具有优异的性能.     

融入语言差异化特征的汉越神经机器翻译译文质量估计

译文质量估计是机器翻译领域中一个重要的子任务,该任务旨在不依靠参考译文的情况下对机器译文进行质量分析.当前,译文质量估计任务在汉英、英德机器翻译上有较好的表现,技术相对成熟.但是将模型应用到汉-越神经机器翻译中面临较多问题.尤其是译文质量估计模型在汉越平行数据中提取到的语言特征不能够充分地体现汉语与越南语之间的语言特点,加之汉语与越南语之间语序与句法结构也存在明显的差异.针对上述问题,本文采用统计对齐的方法对汉越之间结构差异进行建模,提取汉语与越南语之间的语言差异化特征,以提升汉越译文质量估计的效果.实验结果表明,融入语言差异化特征在汉-越和越-汉两个方向上较基线模型分别提升了0.52个百分点和0.35个百分点.     

基于XML的译文生成关键技术研究

本文将XML转换机制应用于机器翻译的译文生成阶段,设计了一种基于XML的中间表示结构,并基于该中间表示和XSLT转换机制设计了一种基于规则的通用译文生成平台。最后,将基于XML的译文生成技术应用于汉英机器翻译中,实现了一个汉英转换生成实验系统SUNGEN,为不断改进译文质量提供了一个方便高效的实验平台。     

利用质量估计改进无监督神经机器翻译

传统上神经机器翻译依赖于大规模双语平行语料,而无监督神经机器翻译的方法避免了神经机器翻译对大量双语平行语料的过度依赖,更适合低资源语言或领域.无监督神经机器翻译训练时会产生伪平行数据,这些伪平行数据质量对机器翻译最终质量起到了决定性的作用.因此,该文提出利用质量估计的无监督神经机器翻译模型,通过在反向翻译的过程中使用质...     

融合单词翻译的神经机器翻译

神经机器翻译由于无法完全学习源端单词语义信息,往往造成翻译结果中存在着大量的单词翻译错误。该文提出了一种融入单词翻译用以增强源端信息的神经机器翻译方法。首先使用字典方法找到每个源端单词对应的目标端翻译,然后提出并比较两种不同的方式,用以融合源端单词及其翻译信息: ①Factored 编码器: 单词及其翻译信息直接相加; ②Gated 编码器: 通过门机制控制单词翻译信息的输入。基于目前性能最优的基于自注意力机制的神经机器翻译框架Transformer,在中英翻译任务的实验结果表明,与基准系统相比,该文提出的两种融合源端单词译文的方式均能显著提高翻译性能,BLEU值获得了0.81个点的提升。     

融合BERT语境词向量的译文质量估计方法研究

蕴含语义、句法和上下文信息的语境词向量作为一种动态的预训练词向量,在自然语言处理的下游任务中有着广泛应用。然而,在机器译文质量估计中,没有相关研究工作涉及语境词向量。该文提出利用堆叠双向长短时记忆网络将BERT语境词向量引入神经译文质量估计中,并通过网络并联的方式与传统的译文质量向量相融合。在CWMT18 译文质量估计评测任务数据集上的实验结果表明,融合中上层的BERT语境词向量均显著提高了译文质量估计与人工评价的相关性,并且当对BERT语境词向量的最后4层表示平均池化后引入译文质量估计中对系统性能的提高幅度最大。实验分析进一步揭示了融合语境词向量的方法能利用译文的流利度特征来提高翻译质量估计的效果。     

面向神经机器翻译系统的多粒度蜕变测试

机器翻译是利用计算机将一种自然语言转换成另一种自然语言的任务,是人工智能领域研究的热点问题之一.近年来,随着深度学习的发展,基于序列到序列结构的神经机器翻译模型在多种语言对的翻译任务上都取得了超过统计机器翻译模型的效果,并被广泛应用于商用翻译系统中.虽然商用翻译系统的实际应用效果直观表明了神经机器翻译模型性能有很大的提...     

神经机器翻译前沿综述

机器翻译是指通过计算机将源语言句子翻译到与之语义等价的目标语言句子的过程,是自然语言处理领域的一个重要研究方向。神经机器翻译仅需使用神经网络就能实现从源语言到目标语言的端到端翻译,目前已成为机器翻译研究的主流方向。该文选取了近期神经机器翻译的几个主要研究领域,包括同声传译、多模态机器翻译、非自回归模型、篇章翻译、领域自适应、多语言翻译和模型训练,并对这些领域的前沿研究进展做简要介绍。     

基于联合注意力机制的篇章级机器翻译

近年来,神经机器翻译(neural machine translation, NMT)表现出极大的优越性,然而如何在翻译一个文档时考虑篇章上下文信息仍然是一个值得探讨的问题。传统的注意力机制对源端的所有词语进行计算,而在翻译当前句子时篇章中大量的信息中只有小部分是与之相关的。在篇章级机器翻译中,采用传统的注意力机制建模篇章信息存在着信息冗余的问题。该文提出了一种联合注意力机制,结合“硬关注”和“软关注”的机制对篇章上下文的信息进行建模。关键思想是通过“硬关注”筛选出与翻译当前句子相关的源端历史词语,然后采用“软关注”的方法进一步抽取翻译中所需的上下文信息。实验表明,相比于基线系统,该方法能使翻译性能获得明显提升。     

基于重解码的神经机器翻译方法研究

基于Transformer的序列转换模型是当前性能最优的机器翻译模型之一.该模型在生成机器译文时,通常从左到右逐个生成目标词,这使得当前位置词的生成不能利用译文中该词之后未生成词的信息,导致机器译文解码不充分从而降低译文质量.为了缓解上述问题,该文提出了基于重解码的神经机器翻译模型,该模型将已生成的机器译文作为目标语言...