中文预训练模型研究进展

近年来，预训练模型在自然语言处理领域蓬勃发展，旨在对自然语言隐含的知识进行建模和表示，但主流预训练模型大多针对英文领域。中文领域起步相对较晚，鉴于其在自然语言处理过程中的重要性，学术界和工业界都开展了广泛的研究，提出了众多的中文预训练模型。文中对中文预训练模型的相关研究成果进行了较为全面的回顾，首先介绍预训练模型的基本概况及其发展历史，对中文预训练模型主要使用的两种经典模型Transformer和BERT进行了梳理，然后根据不同模型所属类别提出了中文预训练模型的分类方法，并总结了中文领域的不同评测基准，最后对中文预训练模型未来的发展趋势进行了展望。旨在帮助科研工作者更全面地了解中文预训练模型的发展历程，继而为新模型的提出提供思路。