首页 | 官方网站   微博 | 高级检索  
     

基于BERT的复合网络模型的中文文本分类
引用本文:方晓东,刘昌辉,王丽亚,殷 兴.基于BERT的复合网络模型的中文文本分类[J].武汉工程大学学报,2020,42(6):688-692.
作者姓名:方晓东  刘昌辉  王丽亚  殷 兴
作者单位:武汉工程大学计算机科学与工程学院,湖北 武汉 430205
摘    要:针对自然语言在语句结构上有着较强的前后依赖关系,提出一种基于BERT的复合网络模型进行中文新闻分类。首先利用BERT的基于注意力机制的多层双向transformer特征提取器获得字词以及句子之间更加全局的特征关系表达。然后将所得数据输入门结构更加简单的双向门控循环神经网络层将特征增强的同时减少时间代价,加强数据特征的选取精确度。最后将不同权重的文本特征信息输入softmax函数层进行新闻分类。通过在cnews新浪新闻数据集上进行实验,获得97.21%的F1值,结果表明所提特征融合模型较其他模型分类效果更好。

关 键 词:BERT  BiGRU  注意力机制  中文文本分类  新闻分类
点击此处可从《武汉工程大学学报》浏览原始摘要信息
点击此处可从《武汉工程大学学报》下载全文
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司    京ICP备09084417号-23

京公网安备 11010802026262号