| 基于自注意力机制预训练跨蒙汉语言模型 |
| |
| 引用本文： | 苏依拉,高芬,牛向华,仁庆道尔吉.基于自注意力机制预训练跨蒙汉语言模型[J].计算机应用与软件,2021,38(2):165-170. |
| |
| 作者姓名： | 苏依拉 高芬 牛向华 仁庆道尔吉 |
| |
| 作者单位： | 内蒙古工业大学信息工程学院 内蒙古 呼和浩特 010080;内蒙古工业大学信息工程学院 内蒙古 呼和浩特 010080;内蒙古工业大学信息工程学院 内蒙古 呼和浩特 010080;内蒙古工业大学信息工程学院 内蒙古 呼和浩特 010080 |
| |
| 基金项目： | 国家自然科学基金项目;内蒙古自治区自然科学基金项目;内
蒙古自治区民族事务委员会基金项目 |
| |
| 摘 要： | 针对蒙汉机器翻译中平行语料资源稀缺的问题,提出利用单语语料库对蒙汉机器翻译进行研究。由于利用单语语料库进行机器翻译的效果较差,故将基于自注意力机制预训练跨蒙汉语言模型应用于基于单语语料库训练的蒙汉机器翻译系统中。实验结果表明,基于自注意力机制预训练跨蒙汉语言模型的方法极大改善了蒙汉机器翻译系统的性能。
|
| 关 键 词： | 蒙汉机器翻译 单语训练 自注意力机制 预训练 语言模型 |
PRE-TRAINING CROSS MONGOLIAN-CHINESE LANGUAGE MODEL BASED ON SELF-ATTENTION MECHANISM |
| |
| Su Yila,Gao Fen,Niu Xianghua,Ren Qingdaoerji.PRE-TRAINING CROSS MONGOLIAN-CHINESE LANGUAGE MODEL BASED ON SELF-ATTENTION MECHANISM[J].Computer Applications and Software,2021,38(2):165-170. |
| |
| Authors: | Su Yila Gao Fen Niu Xianghua Ren Qingdaoerji |
| |
| Affiliation: | (College of Information Engineering,Inner Mongolia University of Technology,Hohhot 010080,Inner Mongolia,China) |
| |
| Abstract: | Aiming at the scarcity of parallel corpus resources in Mongolian-Chinese machine translation,this paper proposes to use monolingual corpus to study Mongolian and Chinese machine translation.The translation effect of using the monolingual corpus for machine translation is relatively ineffective.Therefore,the pre-training cross Mongolian and Chinese language model based on self-attention mechanism was applied to the Mongolian-Chinese machine translation system based on monolingual corpus training.Through experimental comparison,the method of pre-training cross Mongolian-Chinese language model based on self-attention mechanism greatly improves the performance of the Mongolian-Chinese machine translation system. |
| |
| Keywords: | Mongolian-Chinese machine translation Monolingual corpus training Self-attention mechanism Pre-training Language model |
| 本文献已被 维普 万方数据 等数据库收录！ |
