训练语料的不同利用方式对神经机器翻译模型的影响

神经机器翻译(NMT)是近两年刚出现的一种新型机器翻译方法,是一种端到端的翻译模型。目前,影响NMT模型效果的因素有很多,其一,当训练语料规模较大时,梯度下降更新方法会对机器的内存要求很高,因此大多研究工作中采用随机梯度下降(SGD)的方法来更新模型的训练参数,即每输入一定数量(批:batch)的训练样例,就利用局部的训练样例更新一次模型参数;其二,参数dropout可以防止系统训练时出现过拟合,提高系统泛化能力;其三,数据打乱(shuffle)也对翻译结果有着重要影响。因此,该文的研究内容主要是探索批、dropout和打乱这三个因素在训练神经机器翻译模型中对模型翻译质量的影响,并得出以下三条结论: 一是批的大小将影响神经机器翻译(NMT)模型的收敛速度,二是dropout可以提升神经机器翻译模型的性能,三是数据打乱可以在一定程度上提升神经机器翻译(NMT)系统的翻译质量。

The Influence of Different Use of Training Corpus on Neural Machine Translation Model

Neural machine translation (NMT) is an emerging end-to-end machine translation paradigm. In NMT, the stochastic gradient descent (SGD) is used to update the model parameters. This paper explores the influence on NMT system resulted from the batch, the dropout and the shuffle in SGD. The results show that the size of batch affects the convergence speed of NMT model, hyper parameter dropout has a huge impact on the performance of the NMT model, and data shuffle can improve the translation quality of NMT system.