|
|||||
|
|
| 面向神经机器翻译的集成学习方法分析 | |
| 引用本文： | 李北,王强,肖桐,姜雨帆,张哲旸,刘继强,张俐,于清.面向神经机器翻译的集成学习方法分析[J].中文信息学报,2019,33(3):42-51. |
| 作者姓名： | 李北 王强 肖桐 姜雨帆 张哲旸 刘继强 张俐 于清 |
| 作者单位： | 1.东北大学 自然语言处理实验室,辽宁 沈阳 110819; 2.新疆大学 信息科学与工程学院,新疆 乌鲁木齐 830046 |
| 基金项目： | 国家自然科学基金(61876035,61732005,61562082);中央高校基本科研业务费;辽宁省高等学校创新人才支持计划 |
| 摘 要： | 集成学习是一种联合多个学习器进行协同决策的机器学习方法,应用在机器翻译任务的推断过程中可以有效整合多个模型预测的概率分布,达到提升翻译系统准确性的目的。虽然该方法的有效性已在机器翻译评测中得到了广泛验证,但关于子模型的选择与融合的策略仍鲜有研究。该文主要针对机器翻译任务中的参数平均与模型融合两种集成学习方法进行大量的实验,分别从模型与数据层面、多样性与模型数量层面对集成学习的策略进行了深入探索。实验结果表明在WMT中英新闻任务上,所提模型相比Transformer单模型有3.19个BLEU值的提升。 |
| 关 键 词： | 集成学习 参数平均 模型融合 多样性 |
On Ensemble Learning of Neural Machine Translation |
|
| LI Bei,WANG Qiang,XIAO Tong,JIANG Yufan,ZHANG Zheyang,LIU Jiqiang,ZHANG Li,YU Qing.On Ensemble Learning of Neural Machine Translation[J].Journal of Chinese Information Processing,2019,33(3):42-51. | |
| Authors: | LI Bei WANG Qiang XIAO Tong JIANG Yufan ZHANG Zheyang LIU Jiqiang ZHANG Li YU Qing |
| Affiliation: | 1.NLP Laboratory, Northeastern University, Shenyang, Liaoning 110819, China; 2.College of Information Science and Engineering, Xinjiang University, Urumqi, Xinjiang 830046, China |
| Abstract: | Ensemble learning has been extensively proved valid in machine translation evaluation campaigns, but the sub-model selection and integration strategies are not well addressed. This paper examines the two kinds of ensemble learning methods: parameter averaging and model fusion in machine translation tasks, and investigates the impact of diversity and model quantity on system performance from the perspectives of data and model. Experimental results show that the best result yields improvements of 3.19 BLEU points over the strong Transformer baseline on WMT Chinese-English MT tasks. |
| Keywords: | ensemble learning parameter averaging model fusion diversity |
| 本文献已被 维普 等数据库收录！ | |
| 点击此处可从《中文信息学报》浏览原始摘要信息 | |
| 点击此处可从《中文信息学报》下载全文 | |