预训练语言模型及其应用（英文）

预训练语言模型（pre-trained languages model, PTLM）在自然语言处理（natural language processing,NLP）领域取得了令人瞩目的成功，并由此引发了下游任务从监督学习到预训练-微调范式的转变。在此之后，一系列预训练模型的创新研究涌现出来。本文系统性、全面的回顾了自然语言处理的代表性工作和最新进展，并按照类别系统性的介绍了自然语言处理领域的预训练模型。首先我们简要介绍了预训练模型，以及不同的模型特点和框架。之后，我们介绍并分析了预训练模型的影响和挑战以及下游任务中的应用。最后，我们简要总结并阐述了预训练模型未来的研究方向。