基于神经网络的医疗文本分类研究

传统的医学文本数据分类方法忽略了文本的上下文关系，每个词之间相互独立，无法表示语义信息，文本描述和分类效果差；并且特征工程需要人工干预，因此泛化能力不强。针对医疗文本数据分类效率低和精度低的问题，提出了一种基于Transformer双向编码器表示BERT、卷积神经网络CNN和双向长短期记忆BiLSTM神经网络的医学文本分类模型CMNN。该模型使用BERT训练词向量，结合CNN和BiLSTM,捕捉局部潜在特征和上下文信息。最后，将CMNN模型与传统的深度学习模型TextCNN和TextRNN在准确率、精确率、召回率和F1值方面进行了比较。实验结果表明，CMNN模型在所有评价指标上整体优于其他模型，准确率提高了1.69%～5.91%。     

HRTNSC:基于混合表示的藏文新闻主客观句子分类模型

针对藏文新闻主客观分类的现实需求,该文以藏文新闻文本数据为研究对象,提出一种基于混合表示的藏文新闻主客观句子分类模型(HRTNSC)。首先通过融合音节级特征和包含当前音节的单词级特征丰富模型输入的语义信息,然后将融合后的特征向量输入到BiLSTM+CNN网络中进行语义提取,最后采用Softmax分类器实现句子的主客观分类。测试结果表明,HRTNSC模型在Word2Vec音节向量+BERT音节向量+注意力机制加权的单词向量特征组合下最优F₁值达到90.84%,分类效果优于对比模型,可以较有效地分类主客观句子,具有一定的应用价值。     

融合多粒度信息的文本分类研究

目前对中文文本分类的研究主要集中于对字符粒度、词语粒度、句子粒度、篇章粒度等数据信息的单一模式划分，这往往缺少不同粒度下语义所包含的信息特征。为了更加有效提取文本所要表达的核心内容，提出一种基于注意力机制融合多粒度信息的文本分类模型。该模型对字、词和句子粒度方面构造嵌入向量，其中对字和词粒度采用Word2Vec训练模型将数据转换为字向量和词向量，通过双向长短期记忆网络（bi-directional long short-term memory,BiLSTM）获取字和词粒度向量的上下文语义特征，利用FastText模型提取句子向量中包含的特征，将不同种特征向量分别送入到注意力机制层进一步获取文本重要的语义信息。实验结果表明，该模型在三种公开的中文数据集上的分类准确率比单一粒度和两两粒度结合的分类准确率都有所提高。     

基于BERT和混合神经网络的诈骗电话文本识别

如今,电话诈骗案件层出不穷,严重危害到了人们的财产安全和社会的和谐安定。针对社会中的一些诈骗电话问题,提出了一种基于词嵌入和混合神经网络的文本分类方法,实现对诈骗电话文本的分类。首先构造了诈骗电话文本数据集,内容涵盖了金融、教育、邮递、银行等多类诈骗事件。为了优化文本的输入词向量,词嵌入部分采用基于Transformer的BERT(Bidirectional Encoder Representation from Transformers)模型来表示诈骗文本,同时采用基于双向长短时记忆网络(Bidirectional Long Short-Term Memory, BiLSTM)以及多尺度卷积神经网络(Convolutional Neural Network, CNN)的混合神经网络(BiLCNN)对文本的词嵌入表示进行特征提取,充分提取出文本的时序特征和局部相关特征,最后将特征融合在一起通过Softmax进行分类。通过实验比较了Word2vec、ELMo(Embedding from Language Model)和BERT三种词嵌入模型,表明BERT作为输入向量的优越性,同时在诈骗...     

基于BERT的BiGRU-Attention-CNN混合模型的中文情感分析

在词嵌入层面上,中文情感分析一般是采用one-hot编码或Word2Vec方法生成词向量表征,不能很好解决一词多义的问题;在特征提取的层面上,传统深度学习模型缺少对重要特征的重点关注。针对该问题,提出一种基于BERT的BiGRU-Attention-CNN混合神经网络模型的中文情感分析方法。BERT模型能产生丰富的动态词向量,结合BiGRU对上下文的长期依赖能力和CNN的特征提取能力,并融入Attention机制分配不同的权重值重点关注。在酒店评论、外卖评论、网购评论、微博评论四种公开中文数据集进行情感分类实验,实验结果表明,该模型相较于其它几种常见的模型,情感分类准确率有明显的提高。     

双通道的BCBLA情感分类模型

针对传统情感分类模型的词向量表示无法解决多义词表征的问题,以及目前基于BERT的多通道情感分类模型研究较少的问题,提出了一种基于BERT的双通道情感分类模型BCBLA.该模型有BERT+CNN和BERT+BiLSTM-Attention两个通道,首先用预训练模型BERT获取融合文本语境的词向量表征;然后利用通道1的CNN网络增强对文本局部特征提取的能力和通道2的BiLSTM-Attention模型增强对长序列文本处理以及关键情感分类特征提取的能力;最后使用Softmax激励函数对通道1和通道2的融合特征进行分类.为了验证本文提出的模型的有效性,本文在中文谭松波酒店评论和英文Yelp Dataset Challenge两种数据集进行实验,设置了与当前流行的情感分类模型对比、减少通道后的模型对比和更换预训练模型后的对比等3种实验对比方式,最终实验结果表明,本文BCBLA模型在中文和英文两种数据集上测试结果中值分别取得了92.86%和95.55%的最佳效果.     

基于注意力机制特征融合的中文命名实体识别

命名实体识别是自然语言处理领域中信息抽取、信息检索、知识图谱等任务的基础。在命名实体识别任务中,Transformer编码器更加关注全局语义,对位置和方向信息不敏感,而双向长短期记忆（BiLSTM）网络可以提取文本中的方向信息,但缺少全局语义信息。为同时获得全局语义信息和方向信息,提出使用注意力机制动态融合Transformer编码器和BiLSTM的模型。使用相对位置编码和修改注意力计算公式对Transformer编码器进行改进,利用改进的Transformer编码器提取全局语义信息,并采用BiLSTM捕获方向信息。结合注意力机制动态调整权重,深度融合全局语义信息和方向信息以获得更丰富的上下文特征。使用条件随机场进行解码,实现实体标注序列预测。此外,针对Word2Vec等传统词向量方法无法表示词的多义性问题,使用RoBERTa-wwm预训练模型作为模型的嵌入层提供字符级嵌入,获得更多的上下文语义信息和词汇信息,增强实体识别效果。实验结果表明,该方法在中文命名实体识别数据集Resume和Weibo上F1值分别达到96.68%和71.29%,相比ID-CNN、BiLSTM、CAN-NER等...     

基于BERT变种模型的情感分析实现

随着舆论数据的快速增长,情感分析技术在舆论检测中发挥越来越重要的作用。由于文本数据本身的稀疏性和高维性,加上中文语义的复杂性,情感分析面临着巨大挑战。本文提出了基于BERT变种的深度学习模型。首先利用BERT模型将文本编码为词向量,采用权重矩阵对词向量加权,增强语句中情感特征,然后利用BiLSTM提取词向量中上下文特征,利用注意力机制对隐特征向量进行特征加权。经过处理后,利用卷积神经网络提取出文本中重要的局部特征,最后输出到全连接层进行文本的分类。实验表明,相比BERT模型,BiLSTM以及其它文本分类模型,该模型在外卖评论数据集中的精确率明显提高。     

融合字注释的文本分类模型

针对传统文本特征表示方法无法充分解决一词多义的问题,构建了一种融合字注释的文本分类模型。首先,借助现有中文字典,获取文本由字上下文选取的字典注释,并对其进行Transformer的双向编码器（BERT）编码来生成注释句向量;然后,将注释句向量与字嵌入向量融合作为输入层,并用来丰富输入文本的特征信息;最后,通过双向门控循环单元（BiGRU）学习文本的特征信息,并引入注意力机制突出关键特征向量。在公开数据集THUCNews和新浪微博情感分类数据集上进行的文本分类的实验结果表明,融合BERT字注释的文本分类模型相较未引入字注释的文本分类模型在性能上有显著提高,且在所有文本分类的实验模型中,所提出的BERT字注释_BiGRU_Attention模型有最高的精确率和召回率,能反映整体性能的F1-Score则分别高达98.16%和96.52%。     

结合RoBERTa和BiSRU-AT的微博用户情感分类研究

针对传统词向量如Word2Vec无法表示多义词,以及现有情感分类模型特征提取能力不足等问题,提出了将RoBERTa(robustly optimized BERT pretraining approach)和BiSRU-AT的微博用户情感分类模型结合的方法。预训练模型RoBERTa,通过参考词所处的具体上下文位置学习到词的动态语义表征向量;BiSRU-AT模块二次提取文本序列特征、软注意力机制为关键词分配更高权重。在真实新浪微博用户评论数据集进行实验,结果表明,RoBERTa-BiSRU-AT模型取得了更高的分类准确率,BiSRU训练效率更优,证明RoBERTa与BiSRU-AT结合的有效性。     

BiLSTM_DPCNN模型在电力客服工单数据分类中的应用

电力客服工单数据以文本形式记录电力用户的需求信息,合理的工单分类方法有利于准确定位用户需求,提升电力系统的运行效率.针对工单数据特征稀疏、依赖性强等问题,本文对基于字符级嵌入的长短时记忆网络(Bidirectional Long Short-Term Memory network,BiLSTM)和卷积神经网络(Conv...     

多神经网络协作的电力文本类型识别

电力企业为实现数字资产管理, 提高行业运行效率, 促进电力信息化的融合, 需要实施有效的数据组织管理方法. 针对电力行业中的数据, 提出了基于字级别特征的高效文本类型识别模型. 在该模型中, 将字符通过BERT预训练模型生成电力客服文本动态的高效字向量, 字向量序列输入利用融合注意力机制的双向长短期记忆网络(BiLSTM), 通过注意力机制有效捕捉文本中帮助实现类型识别的潜在特征, 最终利用Softmax层实现对电力文本的类型识别任务. 本文提出的模型在电力客服文本数据集上达到了98.81%的准确率, 优于CNN, BiLSTM等传统神经网络识别方法, 增强了BERT模型的应用, 并有效解决了电力文本类型识别任务中语义的长距离依赖问题.     

BERT蒙古文词向量学习

以Word2Vec为代表的静态蒙古文词向量学习方法,将处于不同语境的多种语义词汇综合表示成一个词向量,这种上下文无关的文本表示方法对后续任务的提升非常有限。通过二次训练多语言BERT预训练模型与CRF相结合,并采用两种子词融合方式,提出一种新的蒙古文动态词向量学习方法。为验证方法的有效性,在内蒙古师范大学蒙古文硕博论文的教育领域、文学领域数据集上用不同的模型进行了同义词对比实验,并利用K-means聚类算法对蒙古文词语进行聚类分析,最后在嵌入式主题词挖掘任务中进行了验证。实验结果表明,BERT学出的词向量质量高于Word2Vec,相近词的向量在向量空间中的距离非常近,不相近词的向量较远,在主题词挖掘任务中获取的主题词有密切的关联。     

基于加权词向量和卷积神经网络的新闻文本分类

在文本分类中,基于Word2Vec词向量的文本表示忽略了词语区分文本的能力,设计了一种用TF-IDF加权词向量的卷积神经网络（CNN）文本分类方法.新闻文本分类,一般只考虑正文,忽略标题的重要性,改进了TF-IDF计算方法,兼顾了新闻标题和正文.实验表明,基于加权词向量和CNN的新闻文本分类方法比逻辑回归分类效果有较大提高,比不加权方法也有一定的提高.     

FMNN:融合多神经网络的文本分类模型

文本分类是自然语言处理中一项基本且重要的任务.基于深度学习的文本分类方法大多只针对单一的模型结构进行深入研究,这种单一的结构缺乏同时捕获并利用全局语义特征与局部语义特征的能力,且网络的加深会损失更多的语义信息.对此,提出了一种融合多神经网络的文本分类模型FMNN(A Text Classification Model ...     

基于Word2Vec的中文短文本分类问题研究

针对短文本中固有的特征稀疏以及传统分类模型存在的“词汇鸿沟”等问题, 我们利用Word2Vec模型可以有效缓解短文本中数据特征稀疏的问题, 并且引入传统文本分类模型中不具有的语义关系. 但进一步发现单纯利用 Word2Vec模型忽略了不同词性的词语对短文本的影响力, 因此引入词性改进特征权重计算方法, 将词性对文本分类的贡献度嵌入到传统的TF-IDF算法中计算短文本中词的权重, 并结合 Word2Vec 词向量生成短文本向量, 最后利用SVM实现短文本分类. 在复旦大学中文文本分类语料库上的实验结果验证了该方法的有效性.     

融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题,提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先,借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本;然后,为降低噪声,采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量,再将隐藏层向量输入到卷积神经网络（CNN）中,从而生成文本分类特征向量;最后,为提升分类的优化效果,将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比,实验结果表明,改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%,验证了改进模型的有效性。     

基于BERT-Att-biLSTM模型的医学信息分类研究

目前,对互联网上虚假健康信息的研究多集中于谣言识别,而对医学信息自动分类的研究较少。采用基于双向编码的语言表征模型和注意力增强的双向长短时记忆模型(BERT-Att-BiLSTM模型),对健康信息文本进行分类,实现自动识别虚假健康信息。实验结果表明,BERT-Att-BiLSTM模型可以高效地对医学信息进行分类,其中BERT模型相较于BiLSTM模型,性能提升明显;与融合Word2Vec的BiLSTM模型相比,BERT-Att-BiLSTM模型效果更佳。     

基于BERT和多窗口门控CNN的电机领域命名实体识别

针对电机领域命名实体识别困难、精度不高的问题,提出了一种基于BERT和多窗口门控CNN的电机领域命名实体识别模型。该模型首先利用BERT预训练模型生成句子的字向量序列,根据电机领域文本的上下文动态微调字向量,增强字向量的语义表达;其次,构建具有全局时序特征感知单元和多窗口门控CNN单元的双分支特征提取层,形成句子的多级语义特征表示;最后,通过CRF对字符序列进行解码,得到每个字符对应的标签。在小规模的自建电机领域数据集与多组模型进行的对比实验结果表明,该模型命名实体识别性能均优于其他模型,macro-F1值达到了90.16%,验证了该方法对电机领域实体识别的有效性。     

基于特征融合的文本情感分类

虽然卷积神经网络（CNN）可以提取局部特征,长短期记忆网络（LSTM）可以提取全局特征,它们都表现出了较 好的分类效果,但CNN在获取文本的上下文全局信息方面有些不足,而LSTM容易忽略词语之间隐含的特征信息。因此,提 出了用CNN_BiLSTM_Attention 并行模型进行文本情感分类。首先,使用CNN提取局部特征,同时BiLSTM提取带有上下文 语义信息的全局特征,之后将两者提取的特征拼接在一起,进行特征融合。这样使得模型既能捕获局部短语级特征,又能捕获 上下文结构信息,并对特征词的重要程度,利用注意力机制分配不同权重,进而提高模型的分类效果。通过与单一模型CNN、 LSTM等深度神经网络模型的对比,本文所提的CNN_BiLSTM_Attention并行模型在综合评价指标F1 score 和准确率上都有 提升,实验结果表明,本文所提模型在文本情感分类任务中取得了较好的结果,比其他神经网络模型有更好的实用价值。