基于BERT和深层等长卷积的新闻标签分类

针对THUCNews的中文新闻文本标签分类任务,在BERT预训练语言模型的基础上,提出一种融合多层等长卷积和残差连接的新闻标签分类模型（DPCNN-BERT）。首先,通过查询中文向量表将新闻文本中的每个字转换为向量输入到BERT模型中以获取文本的全文上下文关系。然后,通过初始语义提取层和深层等长卷积来获取文本中的局部上下文关系。最后,通过单层全连接神经网络获得整个新闻文本的预测标签。将本文模型与卷积神经网络分类模型(TextCNN)、循环神经网络分类模型(TextRNN)等模型进行对比实验。实验结果表明,本文模型的预测准确率达到94.68%,F1值达到94.67%,优于对比模型,验证了本文提出模型的性能。     

基于多任务学习的图神经网络推荐模型研究

图神经网络处理非欧氏空间数据的强大能力促使越来越多的研究将其应用于推荐领域。然而，现有的基于图神经网络的推荐模型大多数仍然采用多个邻接矩阵来表示多种节点或边属性等异质信息，没有充分利用异质信息之间的交互。因此，提出一种新型的图神经网络推荐模型，把所有信息实体之间的丰富交互建模成异质图，并在异质图上使用稠密子图采样策略进行子图采样；此外，模型还加入多任务学习方法用于共同优化链接预测与推荐任务，使得模型学习到更好的节点表示，以提升推荐效果。2个公开数据集上的实验结果表明，所提模型相比基线模型，在Top-N推荐任务性能上有所提高。