基于多编码器多解码器的大规模维汉神经网络机器翻译模型

为提升维汉机器翻译模型的翻译能力,该文提出使用多编码器多解码器的结构,搭建大规模的维汉神经网络机器翻译模型。相比于单编码器单解码器的浅层的小模型,多编码器多解码器模型具有多个编码器,可以对源语言进行多层次、多视角的压缩表示;同时具有多个解码器,可以增强目标语言的生成能力。实验证明,在大规模的训练数据上,使用该方法搭建的大规模维汉神经网络机器翻译模型,译文质量可以大幅度地超过基于短语的统计机器翻译模型和基本的神经网络翻译模型。该文还针对维汉翻译源端语言和目标端语言的翻译单元粒度进行了实验,发现维吾尔语端使用字节对编码单元、汉语端使用字单元,可以消除对汉语分词器的依赖,做到和双端都使用字节对编码单元可比的效果。     

基于深度编码注意力的XLNet-Transformer汉-马低资源神经机器翻译优化方法

神经机器翻译(NMT)在多个领域应用中已取得显著成效,在大规模语料库上已充分论证其优越性。然而,在语料库资源不足的情形下,仍存在较大的改进空间。由于汉语-马来语(汉-马)平行语料的匮乏,直接导致了汉-马机器翻译的翻译效果不佳。为解决汉-马低资源机器翻译不理想的问题,提出了一种基于深度编码注意力和渐进式解冻的低资源神经机器翻译方法。首先,利用XLNet预训练模型重构编码器,在编码器中使用了XLNet动态聚合模块替代了传统编码层的输出方式,有效弥补了低资源汉-马语料匮乏的瓶颈;其次,在解码器中使用并行交叉注意力模块对传统编码-解码注意力进行了改进,提升了源词和目标词的潜在关系的捕获能力;最后,对提出模型采用渐进式解冻训练策略,最大化释放了模型的性能。实验结果表明,提出方法在小规模的汉-马数据集上得到了显著的性能提升,验证了方法的有效性,对比其他的低资源NMT方法,所提方法结构更为精简,并改进了编码器和解码器,翻译效果提升更加显著,为应对低资源机器翻译提供了有效的策略与启示。     

基于RNN编码器的交互式机器翻译平台控制技术

为减少交互式机器翻译平台在工作时受到的干扰信息,利用RNN编码器设计了一种机器翻译平台控制技术。通过研究RNN编码器单级交互式机器翻译平台、复合交互式机器翻译平台的嵌入方式,分析RNN编码器控制下的交互式机器翻译平台结构。在将RNN编码器嵌入交互式平台后,加入平台速度稳定控制回路和平台位置稳定控制回路,实现稳定功能、锁定功能、扫描功能以及自动控制功能,利用被动隔离方法和主动稳定方法确保稳定控制。通过实验验证,该控制技术可以有效减少交互式机器翻译平台工作时受到的外界信息干扰。     

基于简单循环单元的深层神经网络机器翻译模型

基于注意力机制的神经网络机器翻译模型已经成为目前主流的翻译模型,在许多翻译方向上均超过了统计机器翻译模型,尤其是在训练语料规模比较大的情况下,优势更加明显。该模型使用编码器—解码器框架,将翻译任务建模成序列到序列的问题。然而,在基于门控循环单元(gated recurrent unit, GRU)的编码器—解码器模型中,随着模型层数的增加,梯度消失的问题使模型难以收敛并且严重退化,进而使翻译性能下降。该文使用了一种简单循环单元(simple recurrent unit, SRU)代替GRU单元,通过堆叠网络层数加深编码器和解码器的结构,提高了神经网络机器翻译模型的性能。我们在德语—英语和维语—汉语翻译任务上进行了实验,实验结果表明,在神经网络机器翻译模型中使用SRU单元,可以有效地解决梯度消失带来的模型难以训练的问题;通过加深模型能够显著地提升系统的翻译性能,同时保证训练速度基本不变。此外,我们还与基于残差连接(residual connections)的神经网络机器翻译模型进行了实验对比,实验结果表明,我们的模型有显著性优势。     

基于语言特征和迁移学习的机器翻译系统研究

针对传统翻译系统对低资源语言翻译效果差的问题,以印度英语翻译为研究对象,提出一种基于语言特征与迁移学习的机器翻译方法。通过采用Finetune技术对已构建的英语-汉语机器翻译系统RNN模型进行迁移学习,采用Bert词向量模型提取训练印度英语语言特征,并以印度英语语言特征为参数输入通过迁移学习的RNN模型,实现了较为准确的印度英语-汉语机器翻译。仿真结果表明,相较于基于传统RNN模型的机器翻译系统,所提方法对印度英语语句翻译效果更好,BLEU值提高了44%,达到0.26;相较于目前常用的成熟机器翻译系统,所提方法的BLEU值均得到不同程度地提升,具有一定的有效性和实际应用价值。     

基于神经网络语言模型的统计机器翻译应用分析

文章通过深度学习方法,提升统计机器翻译精准度为当前重要研究方向。统计机器翻译基于语言模型进行分析,对神经网络语言模型在统计机器翻译中的应用进行研究。通过基于词和短语的神经网络语言模型在汉-英、汉-日中的应用进行测试。测试结果表明,该模型可有效提高统计机器翻译水平。     

基于编码器-解码器重构框架的蒙汉神经机器翻译

近年来,端到端的神经机器翻译方法由于翻译准确率高,模型结构简单等优点已经成为机器翻译研究的重点,但其依然存在一个主要的缺点,该模型倾向于反复翻译某些源词,而错误地忽略掉部分词。针对这种情况,采用在端到端模型的基础上添加重构器的方法。首先利用Word2vec技术对蒙汉双语数据集进行向量化表示,然后预训练端到端的蒙汉神经机器翻译模型,最后对基于编码器-解码器重构框架的蒙汉神经机器翻译模型进行训练。将基于注意力机制的蒙汉神经机器翻译模型作为基线系统。实验结果表明,该框架显著提高了蒙汉机器翻译的充分性,比传统的基于注意力机制的蒙汉机器翻译模型具有更好的翻译效果。     

基于Self-Attention模型的机器翻译系统

近几年来神经机器翻译（Neural Machine Translation, NMT）发展迅速，Seq2Seq框架的提出为机器翻译带来了很大的优势，可以在观测到整个输入句子后生成任意输出序列。但是该模型对于长距离信息的捕获能力仍有很大的局限，循环神经网络（RNN）、 LSTM网络都是为了改善这一问题提出的，但是效果并不明显。注意力机制的提出与运用则有效地弥补了该缺陷。Self-Attention模型就是在注意力机制的基础上提出的，本文使用Self-Attention为基础构建编码器-解码器框架。本文通过探讨以往的神经网络翻译模型，分析Self-Attention模型的机制与原理，通过TensorFlow深度学习框架对基于Self-Attention模型的翻译系统进行实现，在英文到中文的翻译实验中与以往的神经网络翻译模型进行对比，表明该模型取得了较好的翻译效果。     

RNN卷积码解码器在超宽带通信中的研究

反馈神经网络卷积码解码器(RNN)的性能接近传统的Viterbi解码器,RNN的复杂度是随约束长度成线性增加的,而Viterbi的复杂度是成指数增加的.在加性白噪声信道中,RNN的性能已经得到了肯定,对应不同的卷积码有不同结构的RNN解码器.本文我们研究了RNN解码器在超宽带通信系统中的性能.     

基于分布内存的层次短语机器翻译并行化算法

近年来,为了提高统计机器翻译系统的准确性,普遍应用海量语料训练出大规模语言模型和翻译模型.而模型规模的不断增大,给统计机器翻译带来了突出的计算性能问题,使得现有的单机串行化翻译处理难以在较快的时间内完成计算,该问题在处理联机翻译时更为突出.为了克服单机机器翻译算法在这方面的局限性,提高大规模统计机器翻译处理的计算性能,面向一个实际的联机翻译系统,提出了一个分布式和并行化翻译解码算法框架,对整个大规模语言模型和翻译模型同时采用分布式存储和并行化查询机制,在此基础上进一步研究实现完整的翻译解码并行化算法.研究实现了一个基于分布式内存数据库的层次短语并行化机器翻译解码器,该解码器使用分布式内存数据库存储和查询大数据量的翻译模型表和语言模型表,克服了传统的机器翻译系统所面临的内存容量和并发度方面的限制.为了进一步提高并行解码速度,还研究实现了另外3项优化技术:1)将翻译模型表的同步规则和Trie树结构的语言模型表转化为基于内存数据库的"键-值"结构的Hash索引表的方法;2)对Cube-Pruning算法进行了修改使其适用于批量查询;3)采用并优化了批量查询方式减少语言和翻译模型查询时的网络传输开销.所提出的解码算法实现了基于大规模语料统计机器翻译时的快速解码,并具备优异的系统可扩展性.实验结果表明:与单机解码器相比,单句翻译速度可提高2.7倍,批量翻译作业的总体解码性能可提高至少11.7倍,实现了显著的计算性能提升.     

面向汉维机器翻译的双语关联度优化模型

针对汉语—维吾尔语的统计机器翻译系统中存在的语义无关性问题,提出基于神经网络机器翻译方法的双语关联度优化模型。该模型利用注意力机制捕获词对齐信息,引入双语短语间的语义相关性和内部词汇匹配度,预测双语短语的生成概率并将其作为双语关联度,以优化统计翻译模型中的短语翻译得分。在第十一届全国机器翻译研讨会（CWMT 2015）汉维公开机器翻译数据集上的实验结果表明,与基线系统相比,在使用较小规模的训练数据和词汇表的条件下,所提方法可以有效地同时提高短语级别和句子级别的机器翻译任务性能,分别获得最高2.49和0.59的BLEU值提升。     

一种基于统计和模板的双层翻译研究

为了提高翻译系统的翻译准确率,在短语基础上结合模板的方法自动抽取模板结构;解码时,首先进行模板匹配,套用模板结构进行翻译,然后再按照Beam Search搜索算法进行后续翻译。因此,该方法可以有效地解决单一的统计翻译中语序错误。以汉蒙翻译为例,实验结果显示此方法可以有效地提高翻译效果,翻译效率比基于短语的统计翻译方法提高10%。     

Augmenting training data with syntactic phrasal-segments in low-resource neural machine translation

Machine Translation - Neural machine translation (NMT) has emerged as a preferred alternative to the previous mainstream statistical machine translation (SMT) approaches largely due to its ability...     

Rethinking Global-Regulation: world’s law meets artificial intelligence

This article takes a critical look at Machine Translation of legal text, especially global legislation, through the discussion of Global-Regulation, a state of the art online search engine of the world’s legislation in English. Part 2 explains the rationale for an online platform such as Global-Regulation. Part 3 provides a brief account of the history of the development of machine translation, and it describes some of the limits of the use of statistical machine translation for translating legal texts. Part 4 describes Neural Machine Translation (NMT), which is a new generation of machine translation systems. Finally, Parts 5 and 6 outline the ‘big sky’ thoughts on future directions for Global-Regulation.     

Assembling translations from multi-engine machine translation outputs

In this paper, we present a hybrid architecture for developing a system combination model that works in three layers to achieve better translated outputs. In the first layer, we have various machine translation models (i.e. Neural Machine Translation (NMT), Statistical Machine Translation (SMT), etc.). In the second layer, the outputs of these models are combined to leverage the advantages of both the systems (i.e SMT and NMT systems) by using the statistical approach and neural-based approach. But each approach has some advantages and limitations. So, instead of selecting an individual combined system’s output as the final one, we apply these outputs in the final layer to produce the target output by assigning appropriate preferences to SMT based and neural-based combinations. Though there are some techniques for system combination but no such approach exists which uses preferences from various system combination models (statistical and neural) for the purpose of better assembling. Empirical results show improved performance in the terms of translation accuracy. Our experiments on two benchmark datasets of English–Hindi and Hindi–English pairs show that the proposed model performs significantly better than the participating models. Apparently, the efficacy of proposed model is significantly better than the state-of-the art machine translation combination systems (6.10 and 4.69 BLEU points for English-to-Hindi, and Hindi-to-English, respectively).     

基于目标语词汇组合合理性评价的译文选择模型

机器翻译使用计算机实现自然语言的翻译功能,是计算机技术在语言学领域的新兴应用和研究,其中,源语言词汇的译文选择直接决定机器翻译的质量,是人们关注的难题,基于目标语词汇组合合理性评价的模糊分类模型试图以语言学和模糊数学为理论基础,尝试解决歧义词的译文选择问题,将该模型用于英汉机器翻译系统的译文选择实验,具有良好的译文选择性能,它的优势还在于可以同时为全句范围内的所有歧义词选择译文,因此适用于机器翻译的大规模开发任务。     

基于RNN和CNN的蒙汉神经机器翻译研究

该文探讨了基于RNN和CNN的蒙汉神经机器翻译模型,分别采用蒙古语的词模型、切分模型和子词模型作为翻译系统的输入信号,并与传统的基于短语的SMT进行了比较分析。实验结果表明,子词模型可以有效地提高RNN NMT和CNN NMT的翻译质量。同时实验结果也表明,基于RNN的蒙汉NMT模型的翻译性能已经超过传统的基于短语的蒙汉SMT模型。