| 基于深度学习的语言模型研究进展 |
| |
| 作者姓名： | 王乃钰 叶育鑫 刘露 凤丽洲 包铁 彭涛 |
| |
| 作者单位： | 吉林大学计算机科学与技术学院,吉林长春 130012;吉林大学计算机科学与技术学院,吉林长春 130012;符号计算与知识工程教育部重点实验室(吉林大学),吉林长春 130012;吉林大学软件学院,吉林长春 130012;符号计算与知识工程教育部重点实验室(吉林大学),吉林长春 130012;Department of Computer Science, University of Illinois at Chicago, Chicago 60607, USA |
| |
| 基金项目： | 国家自然科学基金（61872163,61806084）;吉林省教育厅项目（JJKH20190160KJ） |
| |
| 摘 要： | 语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,...
|
| 关 键 词： | 语言模型 预训练 深度学习 自然语言处理 神经语言模型 |
| 收稿时间： | 2020-05-03 |
| 修稿时间： | 2020-09-01 |
| 本文献已被 万方数据 等数据库收录！ |
| 点击此处可从《软件学报》浏览原始摘要信息 |
|
点击此处可从《软件学报》下载免费的PDF全文 |
|
