基于预训练的无监督神经机器翻译模型研究

依赖于大规模的平行语料库,神经机器翻译在某些语言对上已经取得了巨大的成功。无监督神经机器翻译UNMT又在一定程度上解决了高质量平行语料库难以获取的问题。最近的研究表明,跨语言模型预训练能够显著提高UNMT的翻译性能,其使用大规模的单语语料库在跨语言场景中对深层次上下文信息进行建模,获得了显著的效果。进一步探究基于跨语言预训练的UNMT,提出了几种改进模型训练的方法,针对在预训练之后UNMT模型参数初始化质量不平衡的问题,提出二次预训练语言模型和利用预训练模型的自注意力机制层优化UNMT模型的上下文注意力机制层2种方法。同时,针对UNMT中反向翻译方法缺乏指导的问题,尝试将Teacher-Student框架融入到UNMT的任务中。实验结果表明,在不同语言对上与基准系统相比,本文的方法最高取得了0.8～2.08个百分点的双语互译评估(BLEU)值的提升。     

利用质量估计改进无监督神经机器翻译

传统上神经机器翻译依赖于大规模双语平行语料,而无监督神经机器翻译的方法避免了神经机器翻译对大量双语平行语料的过度依赖,更适合低资源语言或领域.无监督神经机器翻译训练时会产生伪平行数据,这些伪平行数据质量对机器翻译最终质量起到了决定性的作用.因此,该文提出利用质量估计的无监督神经机器翻译模型,通过在反向翻译的过程中使用质...     

语言模型蒸馏的低资源神经机器翻译方法

大规模平行语料库的缺乏是低资源神经机器翻译面临的关键问题之一。提出语言模型蒸馏的神经机器翻译方法,通过单语语言模型对神经机器翻译训练进行正则化,引入语言模型包含的先验知识以提升翻译效果。具体地,借鉴知识蒸馏思想,使用丰富单语数据训练的目标端语言模型(教师模型)构造低资源神经机器翻译模型(学生模型)的正则化因子,让翻译模型学习到语言模型中高度泛化的先验知识。与传统单语语言模型融合参与解码过程不同的是,本文方法中的语言模型只在训练阶段使用,不参与推断阶段,因此能够有效提升解码速度。在第十七届全国机器翻译大会CCMT2021维吾尔语-汉语和藏语-汉语2种民汉低资源翻译数据集上的实验结果表明,相比目前最先进的语言模型融合方法,BLEU提高了1.42%(藏汉方向)～2.11%(汉维方向)。     

基于词典模型融合的神经机器翻译

无监督神经机器翻译仅利用大量单语数据,无需平行数据就可以训练模型,但是很难在2种语系遥远的语言间建立联系。针对此问题,提出一种新的不使用平行句对的神经机器翻译训练方法,使用一个双语词典对单语数据进行替换,在2种语言之间建立联系,同时使用词嵌入融合初始化和双编码器融合训练2种方法强化2种语言在同一语义空间的对齐效果,以提高机器翻译系统的性能。实验表明,所提方法在中-英与英-中实验中比基线无监督翻译系统的BLEU值分别提高2.39和1.29,在英-俄和英-阿等单语实验中机器翻译效果也显著提高了。     

融合EMD最小化双语词典的汉—越无监督神经机器翻译

神经机器翻译在平行语料充足的任务中能取得很好的效果,然而对于资源稀缺型语种的翻译任务则往往效果不佳.汉语和越南语之间没有大规模的平行语料库,在这项翻译任务中,该文探索只使用容易获得的汉语和越南语单语语料,通过挖掘单语语料中词级别的跨语言信息,融合到无监督翻译模型中提升翻译性能;该文提出了融合EMD(Earth Move...     

面向神经机器翻译的枢轴方法研究综述

低资源语言的神经机器翻译（neural machine translation,NMT）一直是机器翻译领域研究的难点和热点,基于枢轴的方法为其性能的提升和改进提供了思路。针对枢轴思想在低资源语言神经机器翻译中的应用,从枢轴翻译、基于枢轴的伪平行数据生成和基于枢轴的模型构建三方面,对不同方法的国内外研究现状、主要问题和趋势进行了分析和比较,为该领域的研究提供参考和借鉴。     

无监督句对齐综述

无监督句对齐在自然语言处理领域是一个重要而具有挑战性的问题。该任务旨在找到不同语言中句子的对应关系，为跨语言信息检索、机器翻译等应用提供基础支持。该综述从方法、挑战和应用3个方面概括了无监督句对齐的研究现状。在方法方面，无监督句对齐涵盖了多种方法，包括基于多语言嵌入、聚类和自监督或者生成模型等。然而，无监督句对齐面临着多样性、语言差异和领域适应等挑战。语言的多义性和差异性使得句对齐变得复杂，尤其在低资源语言中更为明显。尽管面临挑战，无监督句对齐在跨语言信息检索、机器翻译、多语言信息聚合等领域具有重要应用。通过无监督句对齐，可以将不同语言中的信息整合，提升信息检索的效果。同时，该领域的研究也在不断推动技术的创新和发展，为实现更准确和稳健的无监督句对齐提供了契机。     

面向神经机器翻译的模型存储压缩方法分析

模型存储压缩,旨在在不改变模型性能的同时,大幅度降低神经网络中过多的模型参数带来的存储空间浪费。研究人员对于模型存储压缩方法的研究大多数在计算机视觉任务上,缺乏对机器翻译模型压缩方法的研究。该文在机器翻译任务上通过实验对比剪枝、量化、低精度三种模型压缩方法在Transformer和RNN(recurrent neural network)两种模型上的模型压缩效果,最终使用剪枝、量化、低精度三种方法的组合方法可在不损失原有模型性能的前提下在Transformer和RNN模型上分别达到5.8×和11.7×的压缩率。同时,该文还针对三种模型压缩方法在不同模型上的优缺点进行了分析。     

基于多策略原型生成的低资源神经机器翻译

资源丰富场景下,利用相似性翻译作为目标端原型序列,能够有效提升神经机器翻译的性能.然而在低资源场景下,由于平行语料资源匮乏,导致不能匹配得到原型序列或序列质量不佳.针对此问题,提出一种基于多种策略进行原型生成的方法.首先结合利用关键词匹配和分布式表示匹配检索原型序列,如未能获得匹配,则利用伪原型生成方法产生可用的伪原型序列.其次,为有效地利用原型序列,对传统的编码器-解码器框架进行改进.编码端使用额外的编码器接收原型序列输入;解码端在利用门控机制控制信息流动的同时,使用改进的损失函数减少低质量原型序列对模型的影响.多个数据集上的实验结果表明,相比基线模型,所提出的方法能够有效提升低资源场景下的机器翻译性能.     

基于模型结构先验的神经机器翻译研究

随着国际交流的增加，有必要对机器翻译模型进行研究，以提高英语翻译的质量。研究开发了一个基于分层先验模型结构的神经机器翻译框架模型，并利用定向动态路由对其进行改进。实验结果表明，FRNN+PRNN模型的翻译性能得到了大幅提升，优化后模型在测试集MT04、MT05、MT06上面的翻译结果分值分别为48.13、45.98、42.85,评分值远远高于RNMT模型和优化前模型。优化后模型在人工和自动评价中的翻译质量分值均最高，具有最高的翻译质量和最少的遗漏、重复翻译；NMT、优化前模型、优化后模型的CDR值分别为0.80、0.76、0.73,说明优化后模型具有很好的翻译忠实度和翻译质量。     

融合单词翻译的神经机器翻译

神经机器翻译由于无法完全学习源端单词语义信息,往往造成翻译结果中存在着大量的单词翻译错误。该文提出了一种融入单词翻译用以增强源端信息的神经机器翻译方法。首先使用字典方法找到每个源端单词对应的目标端翻译,然后提出并比较两种不同的方式,用以融合源端单词及其翻译信息: ①Factored 编码器: 单词及其翻译信息直接相加; ②Gated 编码器: 通过门机制控制单词翻译信息的输入。基于目前性能最优的基于自注意力机制的神经机器翻译框架Transformer,在中英翻译任务的实验结果表明,与基准系统相比,该文提出的两种融合源端单词译文的方式均能显著提高翻译性能,BLEU值获得了0.81个点的提升。     

基于多覆盖模型的神经机器翻译

覆盖模型可以缓解神经机器翻译中的过度翻译和漏翻译问题.现有方法通常依靠覆盖向量或覆盖分数等单一方式存储覆盖信息,而未考虑不同覆盖信息之间的关联性,因此对信息的利用并不完善.针对该问题,基于翻译历史信息的一致性和模型之间的互补性,提出了多覆盖融合模型.首先定义词级覆盖分数概念;然后利用覆盖向量和覆盖分数存储的信息同时指导...     

稀缺资源语言神经网络机器翻译研究综述

作为目前主流翻译方法的神经网络机器翻译已经取得了很大突破, 在很多具有丰富数据资源的语言上的翻译质量也不断得到改善, 但对于稀缺资源语言的翻译效果却仍然并不理想. 稀缺资源语言机器翻译是目前机器翻译领域的重要研究热点之一, 近几年来吸引了国内外的广泛关注. 本文对稀缺资源语言机器翻译的研究进行比较全面的回顾, 首先简要介绍了与稀缺资源语言翻译相关的学术活动和数据集, 然后重点梳理了目前主要的研究方法和一些研究结论, 总结了每类方法的特点, 在此基础上总结了不同方法之间的关系并分析了目前的研究现状. 最后, 对稀缺资源语言机器翻译未来可能的研究趋势和发展方向进行了展望,并给出了相关建议.     

基于联合注意力机制的篇章级机器翻译

近年来,神经机器翻译(neural machine translation, NMT)表现出极大的优越性,然而如何在翻译一个文档时考虑篇章上下文信息仍然是一个值得探讨的问题。传统的注意力机制对源端的所有词语进行计算,而在翻译当前句子时篇章中大量的信息中只有小部分是与之相关的。在篇章级机器翻译中,采用传统的注意力机制建模篇章信息存在着信息冗余的问题。该文提出了一种联合注意力机制,结合“硬关注”和“软关注”的机制对篇章上下文的信息进行建模。关键思想是通过“硬关注”筛选出与翻译当前句子相关的源端历史词语,然后采用“软关注”的方法进一步抽取翻译中所需的上下文信息。实验表明,相比于基线系统,该方法能使翻译性能获得明显提升。     

融入汉字字形特征的中英神经机器翻译模型

神经机器翻译技术是目前机器翻译应用中取得效果最好的方法。将外部语言学知识如单词词性、依存句法标签引入神经机器翻译系统以提高翻译性能已经被很多学者证明是一种行之有效的途径。相较于其他表音文字,汉字是一种形声字,其构造方法具有一半表音、一半表意的特殊结构,这种特殊的构造法使得汉字含有丰富的语义、语音和句法信息。该文在Marta R等工作的基础上,提出了一种新的将字形特征融入端到端模型的方法,并将之应用于中文到英文的翻译上。与基准系统相比,该方法在NIST评测集上获得平均1.1个点的显著提升,有效地证明了汉字字形特征可以对神经机器翻译模型起到促进作用。     

基于神经网络机器翻译模型的英文分词研究

针对英文等符号语言不能直接使用现有的神经网络机器翻译模型(NMT)的问题。在简述LSTM神经网络的基础上,采用分桶(b ucketing)的方式将样本进行batch划分,在NMT模型中加入注意力机制提高了系统的性能,并分别利用双向LSTM神经网络和贪婪算法设计了基于上下文特征提取的编码器和输出算法的解码器。最后从语句还原程度和语义识别情况两个角度对英文的一元分词和HMM分词在NMT模型上的应用结果进行了对比,研究了英文的NMT模型适配方案。     

带标记音节的双向维汉神经机器翻译方法

近年来,基于神经网络的机器翻译成为机器翻译领域的主流方法,但是在低资源翻译领域中仍存在平行语料不足和数据稀疏的挑战.针对维-汉平行语料不足和维吾尔语形态复杂所导致的数据稀疏问题,从维吾尔语的音节特点出发,将单词切分成音节,同时融入BME(Begin,Middle,End)标记思想,提出一种基于带标记音节的神经网络机器翻...