自纠正词对齐

词对齐是统计机器翻译系统的重要一环,但词对齐的获得往往基于序列模型的计算,而没有考虑语言的结构化信息及语言特征,从而造成词对齐中出现一些不符合语言特征的结果。文中提出一种词对齐的自纠正机制,以纠正词对齐中的错误部分。该机制使用一些语言学上的先验知识,对词对齐结果进行由粗颗粒度到细颗粒度的纠正。首先采用基于标点的方法对句对进行粗粒度化纠正,然后采用基于统计特征的方法对子句对进行细粒度化纠正。该自纠正过程不需要借助任何其他词对齐工具和新语料。实验结果显示,自纠正词对齐显著提高了词对齐的准确率,并提高了机器翻译的质量,其中粗粒度的纠正方法对翻译质量的提高最为显著,细粒度的纠正方法也提升了翻译质量,最终通过结合粗颗粒度和细颗粒度的纠正方法,使翻译结果相对基准系统取得了显著的提高。     

基于有效句型的英汉双语短语对齐

双语短语对齐的输入是源语言 (英语 )、目标语言 (汉语 )候选句法分析树集 由于翻译异常现象的大量存在 ,源语言句法树和目标语言句法树间往往不存在简单的对应关系 如何在翻译异常的情况下 ,从源语言、目标语言候选句法树集中排除歧义 ,选出正确的句法树 ,并揭示其短语层次上的对应关系 ,是双语短语对齐的主要困难 提出的基于“有效句型”概念和“翻译中相对不变准则”的短语对齐模型基本解决了上述问题 双语短语对齐本身是一个复杂度较高的处理过程 ,提出的有关定理和算法使系统在保证对齐正确率的前提下 ,保证了时间效率     

双语词典在统计机器翻译中的应用

在当前的基于统计的翻译方法中,双语语料库的规模、词对齐的准确率对于翻译系统的性能有很大的影响。虽然大规模语料库可以改善词语对齐的准确度,提高系统的性能,但同时会以增加系统的负载为代价,因此目前对于统计机器翻译方法的研究在使用大规模语料库的基础上,同时寻求其他可以提高系统性能的方法。针对以上问题,提出一种把双语词典应用在统计机器翻译中的方法,不仅优化了词对齐的准确率,而且得出质量更高的翻译结果,在一定程度上缓解了数据稀疏问题。     

基于有效包型的英汉双语短语对齐

双语短语对齐的输入是源语言（英语）、目标语言（汉语）候选句法分析树集。由于翻译异常现象的大量存在，源语言句法树和目标语言句法树间往往不存在简单的对应关系。如何在翻译异常的情况下，从源语言、目标语言候选句法树集中排除歧义，选出正确的句法树，并揭示其短语层次上的对应关系，是双语短语对齐的主要困难。提出的基于“有效句型”概念和“翻译中相对不变准则”的短语对齐模型基本解决了上述问题。双语短语对齐本身是一个复杂度较高的处理过程，提出的有关定量和算法使系统在保证对齐正确率的前提下，保证了时间效率。     

基于统计学习的机器翻译模板自动获取方法

本文提出了一种从未经深层次处理的双语口语语料库中自动获取机器翻译模板的方法。这种算法是一种无监督的、基于统计的、数据驱动的方法。这种方法有两个基本的步骤。首先,通过语法归纳分别从源语言和目标语言中获取语义类和短语结构类。然后,利用双语划界文法将短语结构类进行对齐。对齐的结果经过后处理就可以得到翻译的模板。初步的试验结果表明,本方法是有效的和切实可行的。     

基于Spark的大规模机器翻译系统研究

为提高大规模机器翻译准确率和翻译效率,基于EM分布式训练方法,提出基于Spark的大规模机器翻译方法。首先,在机器翻译模型的基础上对并行化训练方法和机器翻译系统框架进行分析,然后提出EM分布式并行算法和框架,针对短语翻译模型和层次翻译模型训练的特点,利用单机多线程工具MGIZA++构建完整的词对齐训练方法对短语翻译模型进行训练;最后通过实验验证提出算法对翻译模型的应用效果。实验结果表明,采用Align＿on＿MGIZA模型后,短语翻译速度比Chaski模型快了2倍,翻译速度显著提升,训练时间更短,仅用了该算法可以适用于短语翻译模型的高效准确翻译,说明系统性能优越,更具有效性。     

统计机器翻译中的非连续短语模板抽取及其应用

目前基于短语的统计机器翻译模型很少将非连续短语的情况考虑在内,由此造成翻译结果在目标语言中的意义变化或缺失。以非连续介词短语为例,提供了一种短语模板抽取算法。首先采用基于规则的方法,抽取出中文非连续介词短语模板,而后借助双语对齐语料和介词_方位词翻译表,获得模板对应的英文翻译。最终形成的双语模板被加入短语翻译表中。在标准测试语料上的对比实验表明,加入非连续短语模板后,译文更加符合语法规范,而翻译结果也取得了相对稳定的提高。     

基于RNN和CNN的蒙汉神经机器翻译研究

该文探讨了基于RNN和CNN的蒙汉神经机器翻译模型,分别采用蒙古语的词模型、切分模型和子词模型作为翻译系统的输入信号,并与传统的基于短语的SMT进行了比较分析。实验结果表明,子词模型可以有效地提高RNN NMT和CNN NMT的翻译质量。同时实验结果也表明,基于RNN的蒙汉NMT模型的翻译性能已经超过传统的基于短语的蒙汉SMT模型。     

基于统计和模板的双层汉蒙翻译研究

为了提高汉蒙翻译系统的翻译准确率,提出了在短语基础上结合模板的方法自动抽取模板结构;解码时,首先进行模板匹配,套用模板结构进行翻译,然后再按照Beam Search搜索算法进行后续翻译。该方法可以有效地解决单一的统计翻译中语序错误。以汉蒙翻译为例,实验结果显示此方法可以有效地提高翻译效果。在农业领域的汉蒙翻译中添加了农业常用短语模板,翻译效率相比Och的基于短语的统计翻译方法有较大的提高。     

神经机器翻译中数据泛化与短语生成方法研究

该文对神经机器翻译中的数据泛化方法和短语生成方法进行研究。在使用基于子词的方法来缓解未登录词和稀疏词汇问题的基础上,提出使用数据泛化的方法来进一步优化未登录词和稀疏词汇的翻译,缓解了子词方法中出现的错译问题。文中对基于子词的方法和基于数据泛化的方法进行了详细的实验对比,对两种方法的优缺点进行了讨论和说明。针对数据泛化的处理方法,提出了一致性检测方法和解码优化方法。由于标准的神经机器翻译模型以词汇为基础进行翻译建模,因此该文提出了一种规模可控的短语生成方法,通过使用该文方法生成的源语言短语,神经机器翻译的翻译性能进一步提高。最终,在汉英和英汉翻译任务上,翻译性能与基线翻译系统相比分别提高了1.3和1.2个BLEU值。