预训练语言模型的应用综述 |
| |
引用本文: | 孙凯丽,罗旭东,罗有容.预训练语言模型的应用综述[J].计算机科学,2023(1):176-184. |
| |
作者姓名: | 孙凯丽 罗旭东 罗有容 |
| |
作者单位: | 1. 广西多源信息挖掘与安全重点实验室;2. 广西师范大学计算机科学与工程学院/软件学院;3. 剑桥大学伊曼纽尔学院 |
| |
摘 要: | 近年来,预训练语言模型发展迅速,将自然语言处理推到了一个全新的发展阶段。文中的综述旨在帮助研究人员了解强大的预训练语言模型在何处以及如何应用于自然语言处理。具体来讲,首先简要回顾了典型的预训练模型,包括单语言预训练模型、多语言预训练模型以及中文预训练模型;然后讨论了这些预训练模型对5个不同的自然语言处理任务的贡献,即信息提取、情感分析、问答系统、文本摘要和机器翻译;最后讨论了预训练模型的应用所面临的一些挑战。
|
关 键 词: | 预训练语言模型 自然语言处理 深度学习 信息提取 情感分析 问答系统 文本摘要 机器翻译 |
|
|