基于MacBERT-BiLSTM和注意力机制的短文本分类研究

针对中文短文本上下文依赖性强，特征信息难以提取的问题，提出一种融合MacBERT、双向长短期记忆神经网络(BiLSTM)、注意力(Attention)机制的短文本分类模型方法。利用预训练模型MacBERT得到动态词向量，输入BiLSTM模型中提取上下文关系特征。结合注意力机制分配不同的权重值，最后使用Softmax分类器得到分类结果。研究表明，该模型在THUCNews数据集上F₁值达到了95.63%，相较于基准模型BERT提高了2.18%，验证了其在短文本分类任务中的可行性和有效性。