基于句子级BLEU指标挑选数据的半监督神经机器翻译*

在单语语料的使用上,统计机器翻译可通过利用语言模型提高性能,而神经机器翻译很难通过这种方法有效利用单语语料.针对此问题,文中提出基于句子级双语评估替补(BLEU)指标挑选数据的半监督神经网络翻译模型.分别利用统计机器翻译和神经机器翻译模型对无标注数据生成候选翻译,然后通过句子级BLEU指标挑选单语候选翻译,加入到有标注的数据集中进行半监督联合训练.实验表明,文中方法能高效利用无标注的单语语料,在NIST汉英翻译任务上,相比仅使用精标的有标注数据单系统,文中方法BLEU值有所提升.     

基于自注意力机制预训练跨蒙汉语言模型

针对蒙汉机器翻译中平行语料资源稀缺的问题,提出利用单语语料库对蒙汉机器翻译进行研究.由于利用单语语料库进行机器翻译的效果较差,故将基于自注意力机制预训练跨蒙汉语言模型应用于基于单语语料库训练的蒙汉机器翻译系统中.实验结果表明,基于自注意力机制预训练跨蒙汉语言模型的方法极大改善了蒙汉机器翻译系统的性能.     

面向法律裁判文书的生成式自动摘要模型

当前面向中文内容的自动摘要模型应用于法律裁判文书时,主要采用抽取式方法进行摘要.但由于法律文本比较冗长、结构化程度较低,抽取式摘要的精准度和可靠性有所欠缺.为了获得法律裁判文书的高质量文本摘要,文中提出了一种生成式多模型融合的自动摘要方法.在Seq2Seq模型的基础上,引入注意力(attention)机制,同时通过Bert预训练和强化学习等方法,结合选择门技术,提出了BASR(Bert Based Attention Seq2Seq Reinforced Model)模型.将50000篇法律裁判文书作为语料,以小额诉讼和简易程序类型的裁判文书为代表性研究对象,实验结果证明新模型有较好的效果,在ROUGE评价中相比传统的Seq2Seq+Attention模型取得了均值5.81％的性能提升.     

面向法律裁判文书的生成式自动摘要模型

当前面向中文内容的自动摘要模型应用于法律裁判文书时,主要采用抽取式方法进行摘要.但由于法律文本比较冗长、结构化程度较低,抽取式摘要的精准度和可靠性有所欠缺.为了获得法律裁判文书的高质量文本摘要,文中提出了一种生成式多模型融合的自动摘要方法.在Seq2Seq模型的基础上,引入注意力(attention)机制,同时通过Bert预训练和强化学习等方法,结合选择门技术,提出了BASR(Bert Based Attention Seq2Seq Reinforced Model)模型.将50000篇法律裁判文书作为语料,以小额诉讼和简易程序类型的裁判文书为代表性研究对象,实验结果证明新模型有较好的效果,在ROUGE评价中相比传统的Seq2Seq+Attention模型取得了均值5.81％的性能提升.     

融合EMD最小化双语词典的汉—越无监督神经机器翻译

神经机器翻译在平行语料充足的任务中能取得很好的效果,然而对于资源稀缺型语种的翻译任务则往往效果不佳.汉语和越南语之间没有大规模的平行语料库,在这项翻译任务中,该文探索只使用容易获得的汉语和越南语单语语料,通过挖掘单语语料中词级别的跨语言信息,融合到无监督翻译模型中提升翻译性能;该文提出了融合EMD(Earth Move...     

基于Self-Attention模型的机器翻译系统

近几年来神经机器翻译（Neural Machine Translation, NMT）发展迅速，Seq2Seq框架的提出为机器翻译带来了很大的优势，可以在观测到整个输入句子后生成任意输出序列。但是该模型对于长距离信息的捕获能力仍有很大的局限，循环神经网络（RNN）、 LSTM网络都是为了改善这一问题提出的，但是效果并不明显。注意力机制的提出与运用则有效地弥补了该缺陷。Self-Attention模型就是在注意力机制的基础上提出的，本文使用Self-Attention为基础构建编码器-解码器框架。本文通过探讨以往的神经网络翻译模型，分析Self-Attention模型的机制与原理，通过TensorFlow深度学习框架对基于Self-Attention模型的翻译系统进行实现，在英文到中文的翻译实验中与以往的神经网络翻译模型进行对比，表明该模型取得了较好的翻译效果。     

基于注意力机制的Tree2Seq代码注释自动生成

代码注释可以帮助开发人员快速理解代码，降低代码维护成本。为了保留代码的结构信息，针对经典的Seq2Seq模型将代码的结构信息压缩为序列，导致结构信息丢失的问题，提出使用Tree-LSTM编码器直接将代码转化成抽象语法树进行编码，使注释生成模型能有效获取代码的结构信息，提升注释生成效果。采用基于注意力机制的Tree2Seq模型实现代码注释生成任务，避免了编码器端将所有输入信息压缩为固定向量，导致部分信息丢失的情况。通过在Java和Python 2种编程语言的数据集上进行实验，使用3种机器翻译常用的自动评测指标进行评估验证，并选取一部分测试数据进行了人工评估。实验结果表明，基于注意力机制的Tree2Seq模型能为解码器提供更全面且丰富的语义结构信息，为后续实验分析和改进提供指导。     

基于改进Seq2Seq的翻译机器人纠错系统设计

针对传统英语翻译的语法纠错系统存在英语语法错误检测准确率低，纠正效果不佳的问题，提出一种基于Seq2Seq神经网络的英语翻译语法纠错模型。首先，采用Seq2Seq神经网络中的Encode部分对输入序列进行建模，并输出此序列的语义向量；然后在Decode部分引入Attention机制，实现原始序列到目标序列的直接映射，从而完成英语语法纠错。实验结果表明，在CoNLL2018数据集的英语语法纠错测试结果中，本模型的准确率、召回率和F_0.5值分别为35.44%、40.68%和32.56%,均高于传统CAMB语法纠错模型。在英语冠词错误纠正结果中，本方法的F_0.5取值为32.36%,比传统UIUC方法和Corpus GEC方法高出了7.02%和2.76%;介词错误纠错实验中，本方法比另外两种方法高出了5.91%和13.15%。综合分析可知，本模型对英语翻译语法纠错准确率和精度更高，对比于传统的语法纠错模型纠错效果更好，可在英语翻译机器人语法纠错系统中进行广泛应用和推广。     

语言模型蒸馏的低资源神经机器翻译方法

大规模平行语料库的缺乏是低资源神经机器翻译面临的关键问题之一。提出语言模型蒸馏的神经机器翻译方法,通过单语语言模型对神经机器翻译训练进行正则化,引入语言模型包含的先验知识以提升翻译效果。具体地,借鉴知识蒸馏思想,使用丰富单语数据训练的目标端语言模型(教师模型)构造低资源神经机器翻译模型(学生模型)的正则化因子,让翻译模型学习到语言模型中高度泛化的先验知识。与传统单语语言模型融合参与解码过程不同的是,本文方法中的语言模型只在训练阶段使用,不参与推断阶段,因此能够有效提升解码速度。在第十七届全国机器翻译大会CCMT2021维吾尔语-汉语和藏语-汉语2种民汉低资源翻译数据集上的实验结果表明,相比目前最先进的语言模型融合方法,BLEU提高了1.42%(藏汉方向)～2.11%(汉维方向)。     

基于双向编解码器的乌英机器翻译

对乌尔都语到英语的机器翻译进行研究,提出一种基于双向编解码器的乌英机器翻译模型.利用语言模型嵌入(embedding from language models,ELMo)方法进行语料的预训练,缓解双语平行语料稀缺以及词汇表受限所导致的翻译正确率不佳的问题;采用双向编解码机制,避免翻译过程中方向性倾斜的问题,提高翻译效果.实验在少量平行语料库的基础上,对所提模型与传统的乌英机器翻译模型进行对比,实验结果表明,该模型较传统模型在双语评估替补(bilingual evaluation understudy,BLEU)评分上提升了2.42,最终该模型的BLEU评分为9.27.     

基于预训练的无监督神经机器翻译模型研究

依赖于大规模的平行语料库,神经机器翻译在某些语言对上已经取得了巨大的成功。无监督神经机器翻译UNMT又在一定程度上解决了高质量平行语料库难以获取的问题。最近的研究表明,跨语言模型预训练能够显著提高UNMT的翻译性能,其使用大规模的单语语料库在跨语言场景中对深层次上下文信息进行建模,获得了显著的效果。进一步探究基于跨语言预训练的UNMT,提出了几种改进模型训练的方法,针对在预训练之后UNMT模型参数初始化质量不平衡的问题,提出二次预训练语言模型和利用预训练模型的自注意力机制层优化UNMT模型的上下文注意力机制层2种方法。同时,针对UNMT中反向翻译方法缺乏指导的问题,尝试将Teacher-Student框架融入到UNMT的任务中。实验结果表明,在不同语言对上与基准系统相比,本文的方法最高取得了0.8～2.08个百分点的双语互译评估(BLEU)值的提升。     

基于GAN模型优化的神经机器翻译

针对神经机器翻译和人工翻译性能的差异最小化、训练语料不足问题, 提出了一种基于生成对抗网络的神经机器翻译改进方法.首先对目标端句子序列添加微小的噪声干扰, 通过编码器还原原始句子形成新的序列; 其次将编码器的处理结果交给判别器和解码器进一步处理, 在训练过程中, 判别器和双语评估基础值(BLEU)目标函数用于评估生成的句子, 并将结果反馈给生成器, 引导生成器学习及优化.实验结果表明, 对比传统的神经机器翻译模型, 基于GAN模型的方法极大地提高了模型的泛化能力和翻译的精度.     

面向平行语料库和多层次语言特征的英语翻译系统研究

针对传统英语翻译系统对于平行语料库和多层次语言特征的提取准确率低、翻译效果不佳的问题，提出基于深度可分离卷积的英语神经机器翻译方法。此方法根据英语的语言特征，将英语切分为词、音节、字符、子词四种不同层次的语言粒度，以此降低英语低频词数量；然后通过深度可分离卷积对基于注意力机制的神经机器翻译模型进行改进，得到深度可分离卷积的英语神经机器翻译模型。实验结果表明，在对汉语～汉语翻译的切分结果中，本模型的在英汉翻译的切分语粒度BLEU分数均保持在21%及以上，均高于传统的CNN模型和Transformer机器翻译模型。且对平行语料和多层次语言特征进行测试发现，本模型的训练时间仅为16 h, CNN模型和Transformer机器翻译模型的训练时间分别为18 h和24 h,训练时长比本模型高出11%左右。由此可知，本模型可提升英语翻译系统计算效率，模型训练和学习能力明显增强，计算量减少，特征提取效果显著提升。     

基于Seq2Seq模型的港口进出口货物量预测

港口进出口货物吞吐量是反映港口业务状况的重要指标,其准确预测将给港口经营管理人员进行决策提供重要的依据.利用机器翻译领域的Seq2Seq模型,对影响港口进出货物量的多种因素进行建模.Seq2Seq模型可以反映进出口货物量在时间维度上的变化规律,并且可以刻画天气、节假日等外部因素的影响,从而进行精准预测.Seq2Seq模型包含两个由循环神经网络（LSTM）组成的编码器和解码器,能够捕捉长短期时间范围内集装箱变化趋势,可以根据历史进出口货物量预测未来一段时间的货物量信息.在真实的天津港进出口集装箱数据集上进行了实验,结果表明Seq2Seq模型的深度学习预测方法效果优于传统的时间序列模型以及其他现有的机器学习预测模型.     

基于词典模型融合的神经机器翻译

无监督神经机器翻译仅利用大量单语数据,无需平行数据就可以训练模型,但是很难在2种语系遥远的语言间建立联系。针对此问题,提出一种新的不使用平行句对的神经机器翻译训练方法,使用一个双语词典对单语数据进行替换,在2种语言之间建立联系,同时使用词嵌入融合初始化和双编码器融合训练2种方法强化2种语言在同一语义空间的对齐效果,以提高机器翻译系统的性能。实验表明,所提方法在中-英与英-中实验中比基线无监督翻译系统的BLEU值分别提高2.39和1.29,在英-俄和英-阿等单语实验中机器翻译效果也显著提高了。     

域信息共享的方法在蒙汉机器翻译中的应用

蒙汉翻译属于低资源语言的翻译,面临着平行语料资源稀缺的困难,为了缓解平行语料数据稀缺和词汇表受限引发的翻译正确率低的问题,利用动态的数据预训练方法ELMo（Embeddings from Language Models）,并结合多任务域信息共享的Transformer翻译架构进行蒙汉翻译。利用ELMo（深层语境化词表示）进行单语语料的预训练。利用FastText词嵌入算法把蒙汉平行语料库中的上下文语境相关的大规模文本进行预训练。根据多任务共享参数以实现域信息共享的原理,构建了一对多的编码器-解码器模型进行蒙汉神经机器翻译。实验结果表明,该翻译方法比Transformer基线翻译方法在长句子输入序列中可以有效提高翻译质量。     

融合语言特征和神经网络的英语机器翻译研究

为提升英语机器翻译的准确性和翻译质量,提出一种基于融合语言特征和神经网络的英语机器翻译模型。其中,首先Word2vec模型对英语词向量进行处理,以此提取语言特征,然后利用改进的Encoder-Decoder模型构建机器翻译模型,最后构建双语语料库,并将该训练好的机器模型进行迁移学习,进行大规模训练。结果表明,在循环神经网络机器翻译中融合语言特征和迁移学习后,英汉翻译BLEU值分别提高了0.18和0.14,说明在神经网络翻译质量有很大提升,且对比于单一的机器翻译模型和只采用迁移学习的机器翻译模型,本模型显著提升翻译质量。     

基于深度学习的图书馆服务机器人研究

为提高图书馆服务机器人的趣味性,结合Seq2Seq基本原理,在对Seq2Seq引入注意力机制进行改进的基础上,搭建一个情感聊天机器人对话生成系统。结果表明,相较于传统的LSTM和GRU神经网络,改进后的Seq2Seq机器翻译模型回复更准确,生成的对话评分高达37%;对比传统的Seq2Seq+ECM,生成对话获得的评分更高,可以实现在图书馆场景下的高质量问答,也进一步说明该对话系统的可行性和有效性。     

基于强化学习和机器翻译质量评估的中朝机器翻译研究

针对目前机器翻译模型存在的曝光偏差和译文多样性差的问题,提出一种基于强化学习和机器翻译质量评估的中朝神经机器翻译模型QR-Transformer.首先,在句子级别引入评价机制来指导模型预测不完全收敛于参考译文;其次,采用强化学习方法作为指导策略,实现模型在句子级别优化目标序列;最后,在训练过程中融入单语语料并进行多粒度数据预处理以缓解数据稀疏问题.实验表明,QR-Transformer有效提升了中朝神经机器翻译性能,与Transformer相比,中—朝语向BLEU值提升了5.39,QE分数降低了5.16,朝—中语向BLEU值提升了2.73,QE分数下降了2.82.     

基于深度学习的外语翻译机器人自动问答检索研究

针对传统日语翻译机器人自动问答检索极易出现语义丢失现象,导致生成答复和检索准确率低的问题,设计一个基于生成式和检索式相结合的外语翻译机器人自动问答检索系统。基于BiLSTM网络中的Seq2Seq模型,通过加入注意力机制、Beam Search算法和TF-IDF算法,分别构建生成式和检索式回复模型;最后将两个模型相结合实现外语翻译机器人自动问答检索。实验结果表明,相较于单向LSTM网络,双向BiLSTM可实现日语语句的双向预测,可有效避免部分语义丢失。且构建的检索式回复模型的回复正确率均保持在90%以上,最高可达95%,生成式模型回复模型在60次测试中,相关回复率最高为96.67%。由此可知,设计的系统可提升外语翻译机器人生成答复和检索准确率,可实现准确的自动问答检索,具备一定的有效性。