融合单语语言模型的藏汉机器翻译方法研究

由于藏汉平行语料匮乏,导致藏汉神经网络机器翻译效果欠佳,该文提出了一种将藏语单语语言模型融合到藏汉神经网络机器翻译的方法,首先利用神经网络实现藏语单语语言模型,然后使用Transformer实现藏汉神经网络机器翻译模型,最后将藏语单语语言模型融合到藏汉神经网络机器翻译中。实验表明,该方法能显著提升藏汉神经网络机器翻译质量。基线系统藏语到汉语的BLEU值为21.1,汉语到藏语的BLEU值为18.6,融合藏语单语语言模型后,藏语到汉语的BLEU值为24.5,汉语到藏语的BLEU值为23.3,比原有基线系统的BLEU值分别提高了3.4和4.7。     

统计机器翻译和翻译记忆的动态融合方法研究

在融合翻译记忆和统计机器翻译的整合式模型的基础上,该文提出在解码过程中进一步地动态加入翻译记忆中新发现的短语对。它在机器翻译解码过程中,动态地加入翻译记忆片段作为候选,并利用翻译记忆的相关信息,指导基于短语的翻译模型进行解码。实验结果表明该方法显著提高了翻译质量: 与翻译记忆系统相比,该方法提高了21.15个BLEU值,降低了21.47个TER值;与基于短语的翻译系统相比,该方法提高了5.16个BLEU值,降低了4.05个TER值。     

基于Transformer的蒙汉神经机器翻译研究

针对传统循环神经网络和卷积神经网络的缺点,搭建完全基于多头自注意力机制的Transformer蒙汉神经机器翻译模型。实验结果表明,该模型比基于LSTM的蒙汉翻译模型提高了9个BLEU值左右。这说明Transformer翻译模型在句子语义提取和语义表达方面优于LSTM翻译模型。同时在语料预处理阶段,还对中蒙文语料进行了不同粒度的切分。通过实验对比分析,蒙文进行BPE处理后的翻译结果优于对中文单独使用分词处理的结果;在较小语料库中,对中文进行分字处理效果优于分词效果。     

语言模型蒸馏的低资源神经机器翻译方法

大规模平行语料库的缺乏是低资源神经机器翻译面临的关键问题之一。提出语言模型蒸馏的神经机器翻译方法,通过单语语言模型对神经机器翻译训练进行正则化,引入语言模型包含的先验知识以提升翻译效果。具体地,借鉴知识蒸馏思想,使用丰富单语数据训练的目标端语言模型(教师模型)构造低资源神经机器翻译模型(学生模型)的正则化因子,让翻译模型学习到语言模型中高度泛化的先验知识。与传统单语语言模型融合参与解码过程不同的是,本文方法中的语言模型只在训练阶段使用,不参与推断阶段,因此能够有效提升解码速度。在第十七届全国机器翻译大会CCMT2021维吾尔语-汉语和藏语-汉语2种民汉低资源翻译数据集上的实验结果表明,相比目前最先进的语言模型融合方法,BLEU提高了1.42%(藏汉方向)～2.11%(汉维方向)。     

基于多粒度与动态词向量的机器翻译关键技术研究

针对现有机器翻译模型翻译质量低的问题,通过结合多粒度特征融合与基于ELMo模型的动态词向量,并以采用多粒度位置编码和多粒度自注意力机制改进的Transformer模型作为主干网络,构建了一种基于多粒度与动态词向量的机器翻译模型。仿真结果表明,所提模型提高了机器翻译模型性能,在WMT2019Zh-En数据集上和NIST数据集上分别BLEU值分别达到31.53和42.61,相较于单一粒度特征输入和静态词向量嵌入,平均提高了1.1和1.39,具有一定的有效性和优越性。     

基于迭代式回译策略的藏汉机器翻译方法研究

该文通过稀缺语言资源条件下机器翻译方法的研究以提高藏汉机器翻译质量,同时希望对语言资源匮乏的其他少数民族语言机器翻译研究提供借鉴。首先该文使用164.1万句对藏汉平行语言资源数据在 Transformer 神经网络翻译模型上训练一个基线系统,作为起始数据资源,然后结合翻译等效性分类器,利用迭代式回译策略和译文自动筛选机制,实现了稀缺资源条件下提升藏汉神经网络机器翻译性能的有效模型,使最终的模型比基准模型在藏到汉的翻译上有6.7个BLEU值的提升,在汉到藏的翻译上有9.8个BLEU值的提升,证实了迭代式回译策略和平行句对过滤机制在汉藏(藏汉)机器翻译中的有效性。     

基于Transformer模型的神经机器翻译改进方法研究

神经机器翻译为加深世界交流做出了巨大贡献，它的发展促进了世界化的发展。研究针对基础的Transformer模型存在的问题，对Transformer模型进行改进，进而提出一种组合式神经机器翻译模型。该模型引入ELMo、Mix-BA以及DMAL,优化了机器翻译对单词的表达形式、多头注意力层之间的联系以及句子中重点单词的关注度。研究利用WMT14en-de数据集与IWSLT14de-en数据集进行对比实验，在两种数据集中，组合式神经机器翻译模型的BLEU得分相较于Transformer基线模型分别高出1.07、0.92;在长句翻译中，组合式神经机器翻译模型的BLEU评分达到33.56,并高出LSTM模型5.72。结果表明研究所提出机器翻译模型具有更好的翻译效果，为神经机器翻译的发展提供新的思路。     

基于双向编解码器的乌英机器翻译

对乌尔都语到英语的机器翻译进行研究,提出一种基于双向编解码器的乌英机器翻译模型.利用语言模型嵌入(embedding from language models,ELMo)方法进行语料的预训练,缓解双语平行语料稀缺以及词汇表受限所导致的翻译正确率不佳的问题;采用双向编解码机制,避免翻译过程中方向性倾斜的问题,提高翻译效果.实验在少量平行语料库的基础上,对所提模型与传统的乌英机器翻译模型进行对比,实验结果表明,该模型较传统模型在双语评估替补(bilingual evaluation understudy,BLEU)评分上提升了2.42,最终该模型的BLEU评分为9.27.     

基于智能语音交互的文言文翻译机器人关键技术

以语音交互为基础的翻译机器人,依托于固定关键词生成交互命令,使得文言文翻译结果双语替换测评(Bilingual Evaluation Understudy, BLEU)值较低。因此,提出基于智能语音交互的文言文翻译机器人关键技术。运用自然语言处理机制,对原始语音进行分词、词性标注等多方面处理。提出自动语音识别技术,结合语言模型和声学模型,对待翻译文言文语义进行准确预测,生成相应的交互命令。以循环神经网络为核心,构建机器翻译模型,并引入注意力机制,将网络单元改为双向循环模式,获取精准翻译结果。实验结果显示：所提文言文翻译机器人关键技术在实际应用中,使得BLEU值提升了31.47%、22.01%,更好地满足文言文翻译质量要求。     

基于句子级BLEU指标挑选数据的半监督神经机器翻译*

在单语语料的使用上,统计机器翻译可通过利用语言模型提高性能,而神经机器翻译很难通过这种方法有效利用单语语料.针对此问题,文中提出基于句子级双语评估替补(BLEU)指标挑选数据的半监督神经网络翻译模型.分别利用统计机器翻译和神经机器翻译模型对无标注数据生成候选翻译,然后通过句子级BLEU指标挑选单语候选翻译,加入到有标注的数据集中进行半监督联合训练.实验表明,文中方法能高效利用无标注的单语语料,在NIST汉英翻译任务上,相比仅使用精标的有标注数据单系统,文中方法BLEU值有所提升.     

基于非自回归方法的维汉神经机器翻译

现有的基于循环神经网络、卷积神经网络和Transformer的自回归翻译模型,虽然都具有良好的翻译性能,但由于解码并行性较低导致了翻译速度慢的问题,针对这个问题提出一种基于非自回归模型的优化学习率策略的方法。在基于迭代优化的非自回归序列模型的基础上,改变学习率调节方法,即把warm up替换为liner annealing方法。首先评估出liner annealing优于warm up方法,然后将liner annealing应用于非自回归序列模型以得到翻译质量和解码速度的最优平衡,最后将该方法与自回归模型的方法作对比。实验结果表明该方法相较于自回归模型Transformer,当解码速度提升1.74倍时,翻译质量的双语评估替换（BLEU）分数值为41.31,可达到Transformer的95.34%。由此可见,采用liner annealing的非自回归序列模型,在降低少许翻译质量的条件下,能够有效地提升解码速度,适用于对翻译速度需求迫切的平台。     

中文字粒度切分在蒙汉机器翻译的应用

在机器翻译任务中,主流的深度学习算法大多使用词或子词作为基础的语义单元,在词或子词层面学习嵌入表征。然而,词粒度层面存在一系列缺点。该文基于LSTM和Transformer蒙汉翻译模型,对蒙文进行子词粒度切分,对中文分别进行子词和字粒度切分对比实验。实验结果显示,相比于子词粒度切分,基于Transformer的蒙汉翻译模型和基于LSTM的蒙汉翻译模型的字粒度切分有极大的BLEU值提升,字级别的蒙汉翻译模型在验证集和测试集上都显著优于混合字和词的子词级别的蒙汉翻译模型。其表明,字级别的蒙汉翻译模型更能捕捉单元之间的语义联系,提高蒙汉翻译性能。     

面向神经机器翻译的集成学习方法分析

集成学习是一种联合多个学习器进行协同决策的机器学习方法,应用在机器翻译任务的推断过程中可以有效整合多个模型预测的概率分布,达到提升翻译系统准确性的目的。虽然该方法的有效性已在机器翻译评测中得到了广泛验证,但关于子模型的选择与融合的策略仍鲜有研究。该文主要针对机器翻译任务中的参数平均与模型融合两种集成学习方法进行大量的实验,分别从模型与数据层面、多样性与模型数量层面对集成学习的策略进行了深入探索。实验结果表明在WMT中英新闻任务上,所提模型相比Transformer单模型有3.19个BLEU值的提升。     

基于重解码的神经机器翻译方法研究

基于Transformer的序列转换模型是当前性能最优的机器翻译模型之一.该模型在生成机器译文时,通常从左到右逐个生成目标词,这使得当前位置词的生成不能利用译文中该词之后未生成词的信息,导致机器译文解码不充分从而降低译文质量.为了缓解上述问题,该文提出了基于重解码的神经机器翻译模型,该模型将已生成的机器译文作为目标语言...     

融合双向依存自注意力机制的神经机器翻译

针对神经机器翻译中资源稀缺的问题,提出了一种基于双向依存自注意力机制（Bi-Dependency）的依存句法知识融合方法。首先,利用外部解析器对源句子解析得到依存解析数据;然后,将依存解析数据转化为父词位置向量和子词权重矩阵;最后,将依存知识融合到Transformer编码器的多头注意力机制上。利用Bi-Dependency,翻译模型可以同时对父词到子词、子词到父词两个方向的依存信息进行关注。双向翻译的实验结果表明,与Transformer模型相比,在富资源情况下,所提方法在汉-泰翻译上的BLEU值分别提升了1.07和0.86,在汉-英翻译上的BLEU值分别提升了0.79和0.68;在低资源情况下,所提方法在汉-泰翻译上的BLEU值分别提升了0.51和1.06,在汉-英翻译上的BLEU值分别提升了1.04和0.40。可见Bi-Dependency为模型提供了更丰富的依存信息,能够有效提升翻译性能。     

基于用户行为模型的计算机辅助翻译方法

与全自动机器翻译相比,计算机辅助翻译技术更具实用性,已成为机器翻译领域的一个研究热点.传统的辅助翻译过程中,用户只能被动接受系统提供的辅助译文,并进行翻译后编辑操作.该文提出一种基于用户行为模型的辅助翻译方法,通过实时记录用户的后编辑过程,分析出用户的翻译决策,建立用户行为模型,使得翻译系统能够动态获取和共享用户的翻译...     

基于源语言句法增强解码的神经机器翻译方法

当前性能最优的机器翻译模型之一Transformer基于标准的端到端结构,仅依赖于平行句对,默认模型能够自动学习语料中的知识;但这种建模方式缺乏显式的引导,不能有效挖掘深层语言知识,特别是在语料规模和质量受限的低资源环境下,句子解码缺乏先验约束,从而造成译文质量下降。为了缓解上述问题,提出了基于源语言句法增强解码的神经机器翻译（SSED）方法,显式地引入源语句句法信息指导解码。所提方法首先利用源语句句法信息构造句法感知的遮挡机制,引导编码自注意力生成一个额外的句法相关表征;然后将句法相关表征作为原句表征的补充,通过注意力机制融入解码,共同指导目标语言的生成,实现对模型的先验句法增强。在多个IWSLT及WMT标准机器翻译评测任务测试集上的实验结果显示,与Transformer基线模型相比,所提方法的BLEU值提高了0.84~3.41,达到了句法相关研究的最先进水平。句法信息与自注意力机制融合是有效的,利用源语言句法可指导神经机器翻译系统的解码过程,显著提高译文质量。     

基于句子级上下文内容的神经机器翻译方法

传统的神经机器翻译方法在忽略句子层面语境的情况下,利用词层面语境来预测目标语的翻译,这有利于统计机器翻译中的翻译预测;但由于词的主题往往是根据句意和上下文动态变化的,存在一词多义等复杂情况;这会导致翻译的不准确;因此,利用卷积神经网络将句子级上下文表示为潜在的主题表示,并设计了一个主题关注度模型,将源句子级主题上下文信息集成到基于Attention和基于Transformer的神经机器翻译方法中;实验结果表明,提出的方法的BLEU评分最高大约等于40。     

基于强化学习和机器翻译质量评估的中朝机器翻译研究

针对目前机器翻译模型存在的曝光偏差和译文多样性差的问题,提出一种基于强化学习和机器翻译质量评估的中朝神经机器翻译模型QR-Transformer.首先,在句子级别引入评价机制来指导模型预测不完全收敛于参考译文;其次,采用强化学习方法作为指导策略,实现模型在句子级别优化目标序列;最后,在训练过程中融入单语语料并进行多粒度数据预处理以缓解数据稀疏问题.实验表明,QR-Transformer有效提升了中朝神经机器翻译性能,与Transformer相比,中—朝语向BLEU值提升了5.39,QE分数降低了5.16,朝—中语向BLEU值提升了2.73,QE分数下降了2.82.