结合双预训练语言模型的中文文本分类模型

针对Word2Vec等模型所表示的词向量存在语义模糊从而导致的特征稀疏问题，提出一种结合自编码和广义自回归预训练语言模型的文本分类方法。首先，分别通过BERT、XLNet对文本进行特征表示，提取一词多义、词语位置及词间联系等语义特征；再分别通过双向长短期记忆网络(BiLSTM)充分提取上下文特征，最后分别使用自注意力机制(Self＿Attention)和层归一化(Layer Normalization)实现语义增强，并将两通道文本向量进行特征融合，获取更接近原文的语义特征，提升文本分类效果。将提出的文本分类模型与多个深度学习模型在3个数据集上进行对比，实验结果表明，相较于基于传统的Word2Vec以及BERT、XLNet词向量表示的文本分类模型，改进模型获得更高的准确率和F₁值，证明了改进模型的分类有效性。