基于语言特征和迁移学习的机器翻译系统研究

针对传统翻译系统对低资源语言翻译效果差的问题,以印度英语翻译为研究对象,提出一种基于语言特征与迁移学习的机器翻译方法。通过采用Finetune技术对已构建的英语-汉语机器翻译系统RNN模型进行迁移学习,采用Bert词向量模型提取训练印度英语语言特征,并以印度英语语言特征为参数输入通过迁移学习的RNN模型,实现了较为准确的印度英语-汉语机器翻译。仿真结果表明,相较于基于传统RNN模型的机器翻译系统,所提方法对印度英语语句翻译效果更好,BLEU值提高了44%,达到0.26;相较于目前常用的成熟机器翻译系统,所提方法的BLEU值均得到不同程度地提升,具有一定的有效性和实际应用价值。     

面向平行语料库和多层次语言特征的英语翻译系统研究

针对传统英语翻译系统对于平行语料库和多层次语言特征的提取准确率低、翻译效果不佳的问题，提出基于深度可分离卷积的英语神经机器翻译方法。此方法根据英语的语言特征，将英语切分为词、音节、字符、子词四种不同层次的语言粒度，以此降低英语低频词数量；然后通过深度可分离卷积对基于注意力机制的神经机器翻译模型进行改进，得到深度可分离卷积的英语神经机器翻译模型。实验结果表明，在对汉语～汉语翻译的切分结果中，本模型的在英汉翻译的切分语粒度BLEU分数均保持在21%及以上，均高于传统的CNN模型和Transformer机器翻译模型。且对平行语料和多层次语言特征进行测试发现，本模型的训练时间仅为16 h, CNN模型和Transformer机器翻译模型的训练时间分别为18 h和24 h,训练时长比本模型高出11%左右。由此可知，本模型可提升英语翻译系统计算效率，模型训练和学习能力明显增强，计算量减少，特征提取效果显著提升。     

基于单语语料库和无监督学习的翻译系统研究

针对传统翻译系统在单语语料库中易出现翻译语料丢失和翻译准确率低的问题,以单语语料库中的自动英诗汉译为研究对象,提出基于无监督学习的神经网络机器翻译方法,该方法将序列到序列模型Seq2Seq和注意力机制Attention相结合,构建Seq2Seq+Attention的单语语言机器翻译模型;在编码器中加入BiLSTM网络,通过回译策略对机器翻译模型进行反向训练和翻译,从而将无监督学习方法转换为有监督学习,以提升最终翻译结果准确率。实验结果表明,在单语语料库中,提出的基于无监督机器翻译方法在不同训练次数下BLEU值最高可达25。且通过人工评分发现,人工评分总分可达17.72分,总体分数较高。由此说明提出的方法可有效避免翻译语料丢失现象,提升翻译准确率。     

基于ELMO的低资源神经机器翻译

低资源神经机器翻译的研究难点是缺乏大量的平行语料来给模型进行训练。随着预训练模型的发展,并且在各大自然语言处理任务中均取得很大的提升,本文提出一种融合ELMO预训练模型的神经机器翻译模型来解决低资源神经机器翻译问题。本文模型在土耳其语-英语低资源翻译任务上相比于反向翻译提升超过0.7个BLEU,在罗马尼亚语-英语翻译任务上提升超过0.8个BLEU。此外,在模拟的中-英、法-英、德-英、西-英这4组低资源翻译任务上相比于传统神经机器翻译模型分别提升2.3、3.2、2.6、3.2个BLEU。实验表明使用融合ELMO的模型来解决低资源神经机器翻译问题是有效的。     

自动化迅速发展背景下基于深度学习的翻译系统研究

通过基于深度学习的机器翻译模型,能够实现中英语言的自动化翻译。但当前的机器翻译模型大多存在梯度回流受阻、翻译精度不够理想等缺陷,为此,研究结合卷积神经网络和循环神经网络,构建了CRNN机器翻译模型。实验结果证明,该模型的句子翻译准确率达到99.52%,单词翻译准确率达到99.84%,均显著高于现有的机器翻译模型。上述结果表明,研究提出的机器翻译模型能够有效提高翻译精度,从而提升各国人们间的交流效率,同时也为语言翻译工作提供了新的思路和途径。     

基于迭代式回译策略的藏汉机器翻译方法研究

该文通过稀缺语言资源条件下机器翻译方法的研究以提高藏汉机器翻译质量,同时希望对语言资源匮乏的其他少数民族语言机器翻译研究提供借鉴。首先该文使用164.1万句对藏汉平行语言资源数据在 Transformer 神经网络翻译模型上训练一个基线系统,作为起始数据资源,然后结合翻译等效性分类器,利用迭代式回译策略和译文自动筛选机制,实现了稀缺资源条件下提升藏汉神经网络机器翻译性能的有效模型,使最终的模型比基准模型在藏到汉的翻译上有6.7个BLEU值的提升,在汉到藏的翻译上有9.8个BLEU值的提升,证实了迭代式回译策略和平行句对过滤机制在汉藏(藏汉)机器翻译中的有效性。     

语言模型蒸馏的低资源神经机器翻译方法

大规模平行语料库的缺乏是低资源神经机器翻译面临的关键问题之一。提出语言模型蒸馏的神经机器翻译方法,通过单语语言模型对神经机器翻译训练进行正则化,引入语言模型包含的先验知识以提升翻译效果。具体地,借鉴知识蒸馏思想,使用丰富单语数据训练的目标端语言模型(教师模型)构造低资源神经机器翻译模型(学生模型)的正则化因子,让翻译模型学习到语言模型中高度泛化的先验知识。与传统单语语言模型融合参与解码过程不同的是,本文方法中的语言模型只在训练阶段使用,不参与推断阶段,因此能够有效提升解码速度。在第十七届全国机器翻译大会CCMT2021维吾尔语-汉语和藏语-汉语2种民汉低资源翻译数据集上的实验结果表明,相比目前最先进的语言模型融合方法,BLEU提高了1.42%(藏汉方向)～2.11%(汉维方向)。     

藏汉神经网络机器翻译研究

神经网络机器翻译是最近几年提出的机器翻译方法,在多数语言对上逐渐超过了统计机器翻译方法,成为当前机器翻译研究前沿热点。该文在藏汉语对上进行了基于注意力的神经网络机器翻译的实验,并采用迁移学习方法缓解藏汉平行语料数量不足问题。实验结果显示,该文提出的迁移学习方法简单有效,相比短语统计机器翻译方法,提高了三个BLEU值。从译文分析中可以看出藏汉神经网络机器翻译的译文比较流畅,远距离调序能力较强,同时也存在过度翻译、翻译不充分、翻译忠实度较低等神经网络机器翻译的共同不足之处。     

融合BERT与词嵌入双重表征的汉越神经机器翻译方法

神经机器翻译是目前主流的机器翻译方法，但在汉-越这类低资源的机器翻译任务中，由于双语平行语料规模小，神经机器翻译的效果并不理想。考虑到预训练语言模型中包含丰富的语言信息，将预训练语言模型表征融入神经机器翻译系统可能对低资源的机器翻译有积极作用，提出一种融合BERT预训练语言模型与词嵌入双重表征的低资源神经机器翻译方法。首先，使用预训练语言模型和词嵌入分别对源语言序列进行表示学习，通过注意力机制建立2种表征之间的联系后，使用拼接操作得到双重表征向量；然后，经过线性变换和自注意力机制，使词嵌入表征和预训练语言模型表征完全自适应融合在一起，得到对输入文本的充分表征，以此提高神经机器翻译模型性能。在汉越语言对上的翻译结果表明，相比基准系统，在包含127 000个平行句对的汉越训练数据中，该方法的BLEU值提升了1.99,在包含70 000个平行句对的汉越训练数据中，该方法的BLEU值提升了4.34,表明融合BERT预训练语言模型和词嵌入双重表征的方法能够有效提升汉越机器翻译的性能。     

融合迁移学习的Bi-LSTM自动翻译系统设计

为进一步提升机器翻译模型的英语到汉语的翻译水平,基于迁移学习技术和双向长短时记忆网络Bi-LSTM,提出一种英汉自动翻译模型。其中,通过Gumbel-Tree-LSTM模型对基础的Bi-LSTM翻译模型进行优化,再引入迁移学习中的迁移枢轴参数的思想对模型进行进一步优化。实验结果表明,与其他翻译模型相比,设计的基于迁移学习的改进Bi-LSTM英汉翻译模型GBi-LSTM的翻译质量更好,在英法和英德两个语料库翻译测试上的BLEU评分和METEOR评分上分别达到了22.95%,36.02%,24.47%,37.18%;与各个基线模型相比,引入迁移枢轴模型参数后的各个翻译模型的翻译质量均有明显提升。以上结果表明,设计的GBi-LSTM翻译模型翻译性能优秀,能够应用于实际的英汉翻译场景,可行性较高。     

基于多编码器多解码器的大规模维汉神经网络机器翻译模型

为提升维汉机器翻译模型的翻译能力,该文提出使用多编码器多解码器的结构,搭建大规模的维汉神经网络机器翻译模型。相比于单编码器单解码器的浅层的小模型,多编码器多解码器模型具有多个编码器,可以对源语言进行多层次、多视角的压缩表示;同时具有多个解码器,可以增强目标语言的生成能力。实验证明,在大规模的训练数据上,使用该方法搭建的大规模维汉神经网络机器翻译模型,译文质量可以大幅度地超过基于短语的统计机器翻译模型和基本的神经网络翻译模型。该文还针对维汉翻译源端语言和目标端语言的翻译单元粒度进行了实验,发现维吾尔语端使用字节对编码单元、汉语端使用字单元,可以消除对汉语分词器的依赖,做到和双端都使用字节对编码单元可比的效果。     

基于改进神经网络的韩语机器翻译系统设计

韩语机器翻译受到韵律格式影响,导致翻译的可靠性不好,提出基于改进神经网络的韩语机器翻译系统设计方法。采用语料库模型建立韩语机器翻译系统的双语平行语料库,建立以深度学习为基础的神经网络翻译语义控制模型,采用规则和模板的匹配方法,采用统计机器翻译的方法,构建以语义综合评估为翻译结构参数模型的韩语机器翻译自然语言处理模型,采用无监督的神经网络学习方法,建立韩语机器翻译的语义对照模型,实现迭代反向翻译和回译。系统构建中,设计了数据库模块、语义推荐模块、数据访问层模块和翻译生成模块,在改进神经网络模型下实现机器翻译系统设计。测试结果表明,该方法进行韩语机器翻译的可靠性较好,具有很好的语义连贯性、翻译一致性和翻译流利性,翻译输出的准确度较高。     

基于语义关联度的英语段落机器翻译方法

不同国家应用不同母语交际,造成了国际之间交流的语言壁垒,提出基于语义关联度的英语段落机器翻译方法研究。设计编码器处理英语段落信息,选取RelArtNet算法计算英语单词与句子语义关联度,构建英语段落翻译信息调序模型,通过联合训练方法训练神经机器翻译模型,将待翻译的英语段落输入至训练好的翻译模型中,实现了英语段落的机器翻译。实验数据显示：提出方法英语段落机器翻译时间低于最高限值,BLEU指数大于标准数值,证实提出方法应用性能较好。     

融合单语语言模型的汉越伪平行语料生成

神经机器翻译在资源丰富的语种上取得了良好的翻译效果,但是由于数据稀缺问题在汉语-越南语这类低资源语言对上的性能不佳。目前缓解该问题最有效的方法之一是利用现有资源生成伪平行数据。考虑到单语数据的可利用性,在回译方法的基础上,首先将利用大量单语数据训练的语言模型与神经机器翻译模型进行融合,然后在回译过程中通过语言模型融入语言特性,以此生成更规范质量更优的伪平行数据,最后将生成的语料添加到原始小规模语料中训练最终翻译模型。在汉越翻译任务上的实验结果表明,与普通的回译方法相比,通过融合语言模型生成的伪平行数据使汉越神经机器翻译的BLEU值提升了1.41个百分点。     

基于CNN词根形态选择模型的改进蒙汉机器翻译研究

随着科学技术的发展,以循环神经网络为基础的机器翻译方法由于翻译质量更好而逐渐取代统计机器翻译方法,特别是在国际大语种之间的互译方面,RNN在对语料编码时能够提取更好的特征,这对翻译质量好坏至关重要。然而在蒙古语这类小语种的翻译方面,由于语料不足导致的数据稀疏和RNN模型训练梯度消失等问题,很难从语料中充分获取语义关系,因此该文提出一种基于卷积神经网络CNN(convolutional neural network)的蒙汉机器翻译方法,在对源语料编码时利用池化层获取语义关系,并根据蒙古语构词特点得到句子的语义信息,再通过融合全局注意力机制的GRU循环神经网络将编码过后的源语言解码为汉语。实验结果表明,该方法在翻译准确率和训练速度两方面均优于RNN基准机器翻译方法。     

提高跨境旅游翻译质量的统计机器翻译研究

为了提高跨境旅游汉译英的翻译质量，制定规则模板识别非信息句，构建基于分类器的非信息句识别模型，并在此基础上构建融合集成学习的半监督非信息句识别模型。实验结果表明，当训练集比例为1∶1时，特征维度为50维时，三种分类器具有最好的分类效果；其中，引入集成学习的半监督方法分类效果最高；其在最大熵(Maximum Entropy, ME)分类器下，G-mean值最高，达到0.866,基于统计机器翻译(Statistical Machine Translation, SMT)的翻译系统英语成文率和翻译准确率及性能均优于Google在线系统，说明该系统能够促进跨境旅游翻译质量的提升。     

基于简单循环单元的深层神经网络机器翻译模型

基于注意力机制的神经网络机器翻译模型已经成为目前主流的翻译模型,在许多翻译方向上均超过了统计机器翻译模型,尤其是在训练语料规模比较大的情况下,优势更加明显。该模型使用编码器—解码器框架,将翻译任务建模成序列到序列的问题。然而,在基于门控循环单元(gated recurrent unit, GRU)的编码器—解码器模型中,随着模型层数的增加,梯度消失的问题使模型难以收敛并且严重退化,进而使翻译性能下降。该文使用了一种简单循环单元(simple recurrent unit, SRU)代替GRU单元,通过堆叠网络层数加深编码器和解码器的结构,提高了神经网络机器翻译模型的性能。我们在德语—英语和维语—汉语翻译任务上进行了实验,实验结果表明,在神经网络机器翻译模型中使用SRU单元,可以有效地解决梯度消失带来的模型难以训练的问题;通过加深模型能够显著地提升系统的翻译性能,同时保证训练速度基本不变。此外,我们还与基于残差连接(residual connections)的神经网络机器翻译模型进行了实验对比,实验结果表明,我们的模型有显著性优势。     

融合单语语言模型的藏汉机器翻译方法研究

由于藏汉平行语料匮乏,导致藏汉神经网络机器翻译效果欠佳,该文提出了一种将藏语单语语言模型融合到藏汉神经网络机器翻译的方法,首先利用神经网络实现藏语单语语言模型,然后使用Transformer实现藏汉神经网络机器翻译模型,最后将藏语单语语言模型融合到藏汉神经网络机器翻译中。实验表明,该方法能显著提升藏汉神经网络机器翻译质量。基线系统藏语到汉语的BLEU值为21.1,汉语到藏语的BLEU值为18.6,融合藏语单语语言模型后,藏语到汉语的BLEU值为24.5,汉语到藏语的BLEU值为23.3,比原有基线系统的BLEU值分别提高了3.4和4.7。     

融合特定语言适配模块的多语言神经机器翻译

多语言神经机器翻译利用单一的编码器-解码器模型对多种语言之间的翻译同时进行建模.多语言神经机器翻译不仅能够促进关联语言之间的知识迁移,提高低资源语言的翻译质量,并且能够实现未见语言对之间的翻译.现有多语言神经机器翻译仍然存在语言多样性建模能力不足和未见语言对翻译质量不佳的问题.为此,首先在现有的适配器模型基础上提出变维...     

基于神经网络语言模型的统计机器翻译应用分析

文章通过深度学习方法,提升统计机器翻译精准度为当前重要研究方向。统计机器翻译基于语言模型进行分析,对神经网络语言模型在统计机器翻译中的应用进行研究。通过基于词和短语的神经网络语言模型在汉-英、汉-日中的应用进行测试。测试结果表明,该模型可有效提高统计机器翻译水平。