融合单语语言模型的藏汉机器翻译方法研究

由于藏汉平行语料匮乏,导致藏汉神经网络机器翻译效果欠佳,该文提出了一种将藏语单语语言模型融合到藏汉神经网络机器翻译的方法,首先利用神经网络实现藏语单语语言模型,然后使用Transformer实现藏汉神经网络机器翻译模型,最后将藏语单语语言模型融合到藏汉神经网络机器翻译中。实验表明,该方法能显著提升藏汉神经网络机器翻译质量。基线系统藏语到汉语的BLEU值为21.1,汉语到藏语的BLEU值为18.6,融合藏语单语语言模型后,藏语到汉语的BLEU值为24.5,汉语到藏语的BLEU值为23.3,比原有基线系统的BLEU值分别提高了3.4和4.7。     

基于迭代式回译策略的藏汉机器翻译方法研究

该文通过稀缺语言资源条件下机器翻译方法的研究以提高藏汉机器翻译质量,同时希望对语言资源匮乏的其他少数民族语言机器翻译研究提供借鉴。首先该文使用164.1万句对藏汉平行语言资源数据在 Transformer 神经网络翻译模型上训练一个基线系统,作为起始数据资源,然后结合翻译等效性分类器,利用迭代式回译策略和译文自动筛选机制,实现了稀缺资源条件下提升藏汉神经网络机器翻译性能的有效模型,使最终的模型比基准模型在藏到汉的翻译上有6.7个BLEU值的提升,在汉到藏的翻译上有9.8个BLEU值的提升,证实了迭代式回译策略和平行句对过滤机制在汉藏(藏汉)机器翻译中的有效性。     

基于神经网络的藏文正字检错法

在缺乏标注数据的条件下,该文将藏文正字检错任务视为一个分类问题: 首先从语言学知识中构建音节混淆子集并给每个原句加噪,然后建立深层双向表征的BERT作为分类模型,最后为了证明该方法的有效性,构建两个基线模型和三种不同领域的测试集,实验结果表明,该方法的结果优于两个基线模型。该文方法在相同领域测试集上句子分类的正确率达到93.74%,不同领域测试集上也能达到83.6%。对错误音节的识别率为74.53%,同时对无错误音节的误判率只有2.30%。     

注意力的端到端模型生成藏文律诗

文本自动撰写在自然语言处理中是一个重要的研究领域,可通过人工智能的方法来提升文本的生成结果。目前主流的生成方法是基于深度学习的方法,而该文则提出了一种基于注意力的端到端模型生成藏文律诗法。该方法基本框架是一个双向LSTM的编码—解码模型,在此基础上引入了藏文字嵌入、注意力机制和多任务学习法。实验结果表明,该文提出的方法在藏文律诗生成结果中BLEU值和ROUGE值分别能达到59.27% 、62.34%,并无需任何人为的特征设置。     

统一藏文的拉丁转写促进藏文的信息化建设

藏文的传统拉丁转写方案较多,但这些转写方案的产生时间都较早,不适合计算机键盘输入,因此已不能满足当今信息化时代藏文信息化建设的需要.在借鉴已有的各种转写方案的基础上,论述了统一藏文拉丁转写的必要性,并且提出了藏文拉丁转写应遵循的原则.     

藏文字符集基本集的修订方案

制作藏文字符集扩展集A和扩展集B的Unico数据库工作中,发现藏文编码字符集基本集有不完善的地方,现提出了几点修改建议:修改字元■(U+0F62)的名称和字元■(U+0F6A)的图形;修改字元■(U+0FB2)与字元■(U+OFBC)的属性值;修改字元■(U+0F6A)的属性值;修改组合用下加字元U+0F90～U+0FBC的组合定位字段的属性值;增加一个辅音■和对应的不占位形式;增加一个空辅音;增加36个复合元音;增加一个图形符号■。通过这些修改,藏文编码字符集基本集的Unicode数据库将更趋完善,实现基本集的“利用基本集中的基本字符通过垂直组合形成藏文(叠字)字符,从而实现所有藏文字符的计算机处理”的目的。     

对DUCET中部分藏文字母排序码的商榷

DUCET为每个藏文字符规定了排序码,但部分藏文字母的排序码并不符合藏文字典的排序要求,根据藏文字典的字母顺序对DUCET做了以下修订:修订梵音藏文字母■的排序码;为占位元音■赋予了适当的排序码;修订了下加辅音■的排序码。通过这些修订DUCET能完全支持现代藏文音节、梵音藏文音节以及二者间的混合排序。     

基于DUCET的藏文排序方法

DUCET为每个藏文字符规定了排序码,但藏文音节的拼写复杂性使得藏文排序不能直接应用这些排序码,提出了基于DUCET的藏文音节排序方法,主要思想是首先,将二维的藏文音节转化成一维的字母串;其次,从DUCET中查出每个字母的排序码,得到藏文音节对应的排序码串;最后,通过比较排序码串实现藏文音节间的排序。还讨论了藏文音节与一般藏文字母串以及藏文字符串与外文字符串间的比较规则。