基于分层式CNN的长文本情感分类模型

为解决文本分类中因文本数据篇幅长且语义情感分布不均导致分类准确度偏低的问题,提出一种基于分层式卷积神经网络(convolutional neural network,CNN)的长文本情感分类模型pos-ACNN-CNN.通过在嵌入层加入位置编码来捕获文本中的词序信息,结合基于注意力机制的CNN识别不同词语的情感语义贡献...     

基于CNN和LSTM的多通道注意力机制文本分类模型

针对传统的卷积神经网络（Convolutional Neural Network,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型。使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制（Attention）提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更好,可以有效提高文本分类的效果。     

基于Transformer和多通道卷积神经网络的情感分析研究

文本情感分析是自然语言处理的经典领域之一.文中提出了一种基于transformer特征抽取器联合多通道卷积神经网络的文本情感分析的模型.该模型使用transformer特征提取器在传统Word2vector,Glove等方式训练的静态词向量的基础上来进行单词的分层、动态表示,针对特定数据集采用Fine-Tuning方式...     

基于注意力机制与情感的多通道RCNN和ON-LSTM模型

近年来在方面级情感分析任务上,基于卷积神经网络和循环神经网络的模型取得了不错的效果,但仍存在着文本长距离依赖问题.有序神经元长短时记忆(ON-LSTM)可建模句子的层级结构,解决文本长距离依赖问题,但会忽略文本局部特征.区域卷积神经网络(RCNN)能提取文本不同区域的局部特征,却无法有效提取文本的上下文语义,而且现有模型均未考虑到情感词与句子上下文的联系.针对这些问题,本文提出一种基于注意力机制与情感的多通道RCNN和ON-LSTM的神经网络模型(MCRO-A-S).首先,向上下文词向量中融入情感特征向量,弥补仅使用上下文词向量作为模型输入的不足.其次,结合RCNN模型提取文本局部特征与ON-LSTM模型提取文本上下文语义信息的优势,可有效提高模型特征提取能力.最后,利用注意力机制融合语义信息,给予情感词更多的关注.在SemEval 2014两个数据集和Twitter数据集上验证模型的有效性,取得了比其他模型更好的分类效果.     

基于注意力机制的多通道CNN和BiGRU的文本情感倾向性分析

近年来,卷积神经网络(convolutional neural network, CNN)和循环神经网络(recurrent neural network, RNN)已在文本情感分析领域得到广泛应用,并取得了不错的效果.然而,文本之间存在上下文依赖问题,虽然CNN能提取到句子连续词间的局部信息,但是会忽略词语之间上下文语义信息;双向门控循环单元(bidirectional gated recurrent unit, BiGRU)网络不仅能够解决传统RNN模型存在的梯度消失或梯度爆炸问题,而且还能很好地弥补CNN不能有效提取长文本的上下文语义信息的缺陷,但却无法像CNN那样很好地提取句子局部特征.因此提出一种基于注意力机制的多通道CNN和双向门控循环单元(MC-AttCNN-AttBiGRU)的神经网络模型.该模型不仅能够通过注意力机制关注到句子中对情感极性分类重要的词语,而且结合了CNN提取文本局部特征和BiGRU网络提取长文本上下文语义信息的优势,提高了模型的文本特征提取能力.在谭松波酒店评论数据集和IMDB数据集上的实验结果表明:提出的模型相较于其他几种基线模型可以提取到更丰富的文本特征,可以取得比其他基线模型更好的分类效果.     

基于word embedding和CNN的情感分类模型

尝试将word embedding和卷积神经网络（CNN）相结合来解决情感分类问题。首先,利用Skip-Gram模型训练出数据集中每个词的word embedding,然后将每条样本中出现的word embedding组合为二维特征矩阵作为卷积神经网络的输入;此外,每次迭代训练过程中,输入特征也作为参数进行更新。其次,设计了一种具有3种不同大小卷积核的神经网络结构,从而完成多种局部抽象特征的自动提取过程。与传统机器学习方法相比,所提出的基于word embedding和CNN的情感分类模型成功将分类正确率提升了5.04%。     

一种循环卷积注意力模型的文本情感分类方法

情感分类对推荐系统、自动问答、阅读理解等下游应用具有重要应用价值,是自然语言处理领域的重要研究方向。情感分类任务直接依赖于上下文,包括全局和局部信息,而现有的神经网络模型无法同时捕获上下文局部信息和全局信息。文中针对单标记和多标记情感分类任务,提出一种循环卷积注意力模型(LSTM-CNN-ATT,LCA)。该模型利用注意力机制融合卷积神经网络(Convolutional Neural Network,CNN)的局部信息提取能力和循环神经网络(Recurrent Neural Network,RNN)的全局信息提取能力,包括词嵌入层、上下文表示层、卷积层和注意力层。对于多标记情感分类任务,在注意力层上附加主题信息,进一步指导多标记情感倾向的精确提取。在两个单标记数据集上的F1指标达到82.1%,与前沿单标记模型相当;在两个多标记数据集上,小数据集实验结果接近基准模型,大数据集上的F1指标达到78.38%,超过前沿模型,表明LCA模型具有较高的稳定性和较强的通用性。     

基于多通道循环卷积神经网络的文本分类方法

循环神经网络和卷积神经网络能够分别捕捉文本中的长期依赖和局部依赖,但是定长的向量表示限制了循环神经网络的特征表达能力,卷积核的大小也影响了卷积神经网络提取特征的能力。针对这些问题,提出多通道循环卷积神经网络来处理文本分类。采用双向长短期记忆网络对文本进行序列建模;利用标量注意力机制和矢量注意力机制来辅助生成文本的多通道表示;最终由卷积神经网络来完成文本分类。在标准数据集上的实验验证了该框架的分类有效性以及文本多通道表示的语义丰富性。     

基于多层次注意力的语义增强情感分类模型

由于自然语言的复杂语义、词的多情感极性以及文本的长期依赖关系,现有的文本情感分类方法面临严峻挑战.针对这些问题,提出了一种基于多层次注意力的语义增强情感分类模型.首先,使用语境化的动态词嵌入技术挖掘词汇的多重语义信息,并且对上下文语义进行建模;其次,通过内部注意力层中的多层并行的多头自注意力捕获文本内部的长期依赖关系,从而获取全面的文本特征信息;再次,在外部注意力层中,将评论元数据中的总结信息通过多层次的注意力机制融入评论特征中,从而增强评论特征的情感信息和语义表达能力;最后,采用全局平均池化层和Softmax函数实现情感分类.在4个亚马逊评论数据集上的实验结果表明,与基线模型中表现最好的TE-GRU(Transformer Encoder with Gated Recurrent Unit)相比,所提模型在App、Kindle、Electronic和CD数据集上的情感分类准确率至少提升了0.36、0.34、0.58和0.66个百分点,验证了该模型能够进一步提高情感分类性能.     

引入注意力机制的BiGRU-CNN情感分类模型

自然语言处理中采用提取用户评论中的情感信息来进行情感分类的研究,但在现有的方法中很多只考虑了评论中的文本信息,而忽略了用户特征和产品特征在决定评论的情感时发挥的作用.因此,为了解决上述问题,本文提出一种引入注意力机制(Attention Mechanism,AM),将双向门控递归单元(Bidirectional Gated Recurrent Unit,BiGRU)和卷积神经网络(Convolutional Neural Netw ork,CNN)相联合的文本情感分类模型.本模型首先利用BiGRU进行序列化学习,然后引入注意力机制将较大的权重赋予给相关的特征,之后将其作为CNN的输入来提取评论文本中的特征,从而充分结合了文本的时间序列信息和局部上下文信息,将最大池应用于连接向量,分别得到用户评论文本与产品文本的特征表示,并将两者进行结合得到最终的文本特征进行分类.经实验结果表明,该模型对评论文本情感分类的作用是很大的.     

基于LSTM-Attention与CNN混合模型的文本分类方法

针对传统长短时记忆网络(Long Short-Term Memory,LSTM)和卷积神经网络(Convolution Neural Network,CNN)在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于LSTM-Attention与CNN混合模型的文本分类方法.使用CNN提取文本局部信息,进而整合出...     

结合注意力机制的深度学习图像目标检测

利用卷积神经网络进行目标检测时,提取的卷积特征具有很强的平移不变性,这将削弱模型的定位性能。事实上,目标对象通常具有不同的子区域特征和宽高比特性,但在目前流行的两阶段目标检测框架中,很少考虑这些具有平移尺度敏感性的特征成分。为了优化模型的特征表达,将在两阶段目标检测框架中引入与子区域特征和宽高比特性相关的注意力特征库,并生成注意力特征图对原始的ROI池化特征进行优化。另外,在注意力特征图的辅助下,模型特征维度可以有效地进行缩减。实验结果表明,引入注意力模块后,模型的检测精度和检测速度有明显提升。     

基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性,并且其短序列的特征存在重要程度差异性。针对时序数据特征,提出一种基于注意力机制的卷积神经网络(CNN)联合长短期记忆网络(LSTM)的神经网络预测模型,融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成:基于注意力机制的CNN,在标准CNN网络上增加注意力分支,以抽取重要细粒度特征;后端为LSTM,由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明,该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好,对比目前企业将预定量作为预测量的方法,预测缩放误差平均值(MASE)与均方根误差(RMSE)指标分别提升了89.64%和61.73%。     

类内类间距离在CNN识别心拍类中的应用研究

心脏疾病严重威胁人类身体健康,心电图(Electrocardiogram,ECG)心拍分类对心脏疾病的临床诊断和自动诊断具有重要意义。现有基于深度学习生成的ECG心拍特征虽然优于基于传统方法生成的心拍特征,但是因ECG中各类间存在着严重的数据不平衡问题,致使现有基于深度学习方法生成的心拍特征的性能仍不甚理想。针对这一问题,以卷积神经网络(Convolutional Neural Network,CNN)为基础,在各类心拍等量数据基础上构建能有效表达各类心拍共性信息的共性CNN模型,以共性CNN模型和最小化类内距离最大化类间距离模型为基础,分别在各类心拍数据上构建能有效反映相应心拍类别倾向性信息的类别CNN模型,综合各心拍类别CNN模型的输出进行识别与分类。在MIT-BIH数据库上的实验结果显示,该方法识别分类心拍的各项指标均达到100%,解决了MIT-BIH数据库中ECG四类心拍自动识别分类的问题。     

改进DeepLabv2的实时图像语义分割算法

图像语义分割是计算机视觉感知系统的重要组成之一,针对现有的语义分割算法存在分割速度慢的问题提出基于DeepLabv2改进的实时图像语义分割算法。与DeepLabv2相比,改进后的算法使用轻量卷积神经网络Xception作为编码器,增加特征金字塔网络（Feature Pyramid Net,FPN）解码特征的过程,减少空洞金字塔池化网络（Atrous convolution Spatial Pyramid Pooling,ASPP）参数的数量,进而大幅度压缩了算法模型,提升了算法分割速度。此外,还对Focal Loss损失函数在多分类任务中难以选择超参数的问题做出改进,并用于提升算法分割精度。在Cityscapes和Pascal VOC2012数据集上的实验结果表明改进后的算法可达到实时分割速度且具有分割精度高的优点,同时还表明提出的超参数选择方法可进一步提升算法分割精度。     

基于卷积神经网络的城管案件图像分类方法

以智慧城市管理系统中上报的案件图像为研究对象,利用卷积神经网络能够自行学习图像特征的优势,提出一种改进的深层卷积神经网络算法,并利用该算法对智慧城市管理系统（下简称“智慧城管”）的案件图像进行快速精确分类,从而完成城市管理系统中案件的自动分类。采用ZCA白化处理降低图像数据特征之间的相关性;搭建八层卷积神经网络对白化后的图像进行分类,并在卷积层采用线性纠正单元（ReLU）加速训练过程,在pooling层利用dropout技术防止算法过拟合;在网络精调阶段采用BP（Back Propagation）算法进行优化,提高算法的鲁棒性。基于上述方法对道路交通类和市容环境类两类案件图像进行二分类实验,平均精度达到97.5%,F1-Score达到0.98,性能超过了LSVM、SAE以及传统的CNN等方法;同时该方法又对电动车乱摆放类、乱扔垃圾类、机动车违章停放类、垃圾桶周围脏乱类共四类案件进行四分类实验,平均精度为90.5%,F1-Score为0.91,性能依然超过了LSVM、SAE以及传统的CNN等方法。     

多尺度残差网络的单幅图像超分辨率重建

针对目前提高图像分辨率的卷积神经网络存在的特征提取尺度单一以及梯度消失等问题,提出了多尺度残差网络的单幅图像超分辨率重建方法.采用多尺度特征提取和特征信息融合,解决了对图像细节特征提取不够充分的问题;将局部残差学习和全局残差学习相结合,提高了卷积神经网络信息流传播的效率,减轻了梯度消失现象.在Set5、Set14和BS...     

多任务多层级CNN在人群计数中的应用

为了提升人群图像的计数精度,设计一种多层级多任务深度卷积网络。多层级神经网络由卷积和上采样的组合方式构成,该网络的优点在于结合浅层网络提取的细节信息和深层网络提取的高阶语义信息。在此基础上,使用多任务学习的方法提升网络性能,多任务学习分为两个部分：人群密度估计任务和人群密度等级分类任务。网络的高分辨率层与人群密度估计任务相连,网络的深层与人群密度等级分类任务相连。将两个任务的损失融合并构成新的损失函数。实验在人群计数公共数据集ShanghaiTech、WorldExpo’10和UCF_CC_50上进行,实验结果表明,该网络在人群计数上具有较好的准确率和鲁棒性。