基于编码器-解码器重构框架的蒙汉神经机器翻译

近年来,端到端的神经机器翻译方法由于翻译准确率高,模型结构简单等优点已经成为机器翻译研究的重点,但其依然存在一个主要的缺点,该模型倾向于反复翻译某些源词,而错误地忽略掉部分词。针对这种情况,采用在端到端模型的基础上添加重构器的方法。首先利用Word2vec技术对蒙汉双语数据集进行向量化表示,然后预训练端到端的蒙汉神经机器翻译模型,最后对基于编码器-解码器重构框架的蒙汉神经机器翻译模型进行训练。将基于注意力机制的蒙汉神经机器翻译模型作为基线系统。实验结果表明,该框架显著提高了蒙汉机器翻译的充分性,比传统的基于注意力机制的蒙汉机器翻译模型具有更好的翻译效果。     

基于预训练的无监督神经机器翻译模型研究

依赖于大规模的平行语料库,神经机器翻译在某些语言对上已经取得了巨大的成功.无监督神经机器翻译U N MT又在一定程度上解决了高质量平行语料库难以获取的问题.最近的研究表明,跨语言模型预训练能够显著提高U N MT的翻译性能,其使用大规模的单语语料库在跨语言场景中对深层次上下文信息进行建模,获得了显著的效果.进一步探究基...     

域信息共享的方法在蒙汉机器翻译中的应用

蒙汉翻译属于低资源语言的翻译,面临着平行语料资源稀缺的困难,为了缓解平行语料数据稀缺和词汇表受限引发的翻译正确率低的问题,利用动态的数据预训练方法ELMo（Embeddings from Language Models）,并结合多任务域信息共享的Transformer翻译架构进行蒙汉翻译。利用ELMo（深层语境化词表示）进行单语语料的预训练。利用FastText词嵌入算法把蒙汉平行语料库中的上下文语境相关的大规模文本进行预训练。根据多任务共享参数以实现域信息共享的原理,构建了一对多的编码器-解码器模型进行蒙汉神经机器翻译。实验结果表明,该翻译方法比Transformer基线翻译方法在长句子输入序列中可以有效提高翻译质量。     

跨语言多任务学习深层神经网络在蒙汉机器翻译的应用

针对蒙汉平行语料资源比较稀缺和现有平行语料数据覆盖面少等导致的蒙汉翻译质量不佳的问题,采用跨语言多任务学习的方式对机器翻译建模。在数据预处理阶段,引入两种新的无监督预训练和一种监督预训练的方法,用于跨语言建模来学习跨语言表示,并研究三种语言预训练方法在蒙汉翻译中的效果。实验结果表明,三种跨语言预训练的模型可以显著降低低资源语言的困惑度,提高蒙汉翻译质量。     

基于LSTM的蒙汉机器翻译的研究

由于内蒙古地区蒙汉机器翻译水平落后、平行双语语料规模较小,利用传统的统计机器翻译方法会出现数据稀疏以及训练过拟合等问题,导致翻译质量不高。针对这种情况,提出基于LSTM的蒙汉神经机器翻译方法,通过利用长短时记忆模型构建端到端的神经网络框架并对蒙汉机器翻译系统进行建模。为了更有效地理解蒙古语语义信息,根据蒙古语的特点将蒙古文单词分割成词素形式,导入模型,并在模型中引入局部注意力机制计算与目标词有关联的源语词素的权重,获得蒙古语和汉语词汇间的对齐概率,从而提升翻译质量。实验结果表明,该方法相比传统蒙汉翻译系统提高了翻译质量。     

融合BERT与词嵌入双重表征的汉越神经机器翻译方法

神经机器翻译是目前主流的机器翻译方法，但在汉-越这类低资源的机器翻译任务中，由于双语平行语料规模小，神经机器翻译的效果并不理想。考虑到预训练语言模型中包含丰富的语言信息，将预训练语言模型表征融入神经机器翻译系统可能对低资源的机器翻译有积极作用，提出一种融合BERT预训练语言模型与词嵌入双重表征的低资源神经机器翻译方法。首先，使用预训练语言模型和词嵌入分别对源语言序列进行表示学习，通过注意力机制建立2种表征之间的联系后，使用拼接操作得到双重表征向量；然后，经过线性变换和自注意力机制，使词嵌入表征和预训练语言模型表征完全自适应融合在一起，得到对输入文本的充分表征，以此提高神经机器翻译模型性能。在汉越语言对上的翻译结果表明，相比基准系统，在包含127 000个平行句对的汉越训练数据中，该方法的BLEU值提升了1.99,在包含70 000个平行句对的汉越训练数据中，该方法的BLEU值提升了4.34,表明融合BERT预训练语言模型和词嵌入双重表征的方法能够有效提升汉越机器翻译的性能。     

基于单语语料和词向量对齐的蒙汉神经机器翻译研究

近年来,随着人工智能和深度学习的发展,神经机器翻译在某些高资源语言对上取得了接近人类水平的效果。然而对于低资源语言对如汉语和蒙古语,神经机器翻译的效果并不尽如人意。为了提高蒙汉神经机器翻译的性能,该文基于编码器—解码器神经机器翻译架构,提出一种改善蒙汉神经机器翻译结果的方法。首先将蒙古语和汉语的词向量空间进行对齐并用它来初始化模型的词嵌入层,然后应用联合训练的方式同时训练蒙古语到汉语的翻译和汉语到蒙古语的翻译。并且在翻译的过程中,最后使用蒙古语和汉语的单语语料对模型进行去噪自编码的训练,增强编码器的编码能力和解码器的解码能力。实验结果表明该文所提出方法的效果明显高于基线模型,证明该方法可以提高蒙汉神经机器翻译的性能。     

基于Transformer的蒙汉神经机器翻译研究

针对传统循环神经网络和卷积神经网络的缺点,搭建完全基于多头自注意力机制的Transformer蒙汉神经机器翻译模型。实验结果表明,该模型比基于LSTM的蒙汉翻译模型提高了9个BLEU值左右。这说明Transformer翻译模型在句子语义提取和语义表达方面优于LSTM翻译模型。同时在语料预处理阶段,还对中蒙文语料进行了不同粒度的切分。通过实验对比分析,蒙文进行BPE处理后的翻译结果优于对中文单独使用分词处理的结果;在较小语料库中,对中文进行分字处理效果优于分词效果。     

基于对偶学习的西里尔蒙古语-汉语机器翻译研究

目前,基于端到端的神经机器翻译(NMT)在大语种上取得了显著的效果,已经成为学术界非常流行的方法,然而该模型的训练严重依赖平行语料库的大小,通常需要上百万句,而西里尔蒙古语和汉语之间的平行语料库严重匮乏,并且人工构建代价昂贵。因此,提出基于对偶学习的西里尔蒙汉互译方法。为了缓解因未登录词导致的译文质量不高的问题,采用BPE(Byte Pair Encoding)技术对语料进行预处理。将通过单语数据预训练的语言模型和20%的平行双语数据预训练的翻译模型作为该模型训练的初始状态。以NMT为基线系统,实验结果表明,该方法达到了与NMT使用西里尔蒙汉全部双语数据相当的效果,有效缓解了因未登录词较多和平行语料库匮乏导致的译文质量不高的问题。     

基于神经网络迁移学习的蒙汉机器翻译方法

针对蒙汉神经机器翻译过程中出现严重未登录词的问题,利用字节编码技术对蒙汉平行语料进行预处理,实验结果表明字节对编码技术有效缓解了未登录词现象。同时,为缓解蒙汉平行语料不足问题,将迁移学习策略应用到在蒙汉神经机器翻译中,实验结果表明最终的翻译译文提高了1.6个BLEU值。另外,考虑到在神经机器翻译模型中的双语词向量的质量对最终的翻译译文质量有较大影响,将基于Word2vec预训练得到的词向量嵌入到蒙汉神经机器翻译模型中,实验结果表明译文提升了0.6个BLEU值。     

Transformer-CRF词切分方法在蒙汉机器翻译中的应用

基于编码—解码(端到端)结构的机器翻译逐渐成为自然语言处理之机器翻译的主流方法,其翻译质量较高且流畅度较好,但依然存在词汇受限、上下文语义信息丢失严重等问题。该文首先进行语料预处理,给出一种Transformer-CRF算法来进行蒙古语词素和汉语分词的预处理方法。然后构建了基于Tensor2Tensor的编码—解码模型,为了从蒙古语语料中学习更多的语法和语义知识,该文给出了一种基于词素四元组编码的词向量作为编码器输入,解码阶段。为了进一步缓解神经网络训练时出现的词汇受限问题,该文将专有名词词典引入翻译模型来进一步提高翻译质量和译文忠实度。根据构建模型对不同长度句子进行实验对比,表明模型在处理长时依赖问题上翻译性能得到提高。     

基于篇章上下文的蒙汉神经机器翻译方法

为了对句子有更全面的表示,增强翻译模型的能力,汉字利用子词特征,蒙古文端使用混合编码器。同时,为了缓解歧义问题,将篇章上下文方法应用于蒙汉神经机器翻译中。实验结果表明,在67 288句对蒙汉平行语料和118 502句对蒙汉平行语料中应用篇章上下文方法后,与基准系统相比,BLUE值分别提升了0.9和0.5。且随着篇章上下文语料的增大,BLUE值提升效果更明显。说明篇章上下文语境方法能够提高译文的质量。