采用注意力门控卷积网络模型的目标情感分析

针对传统目标情感分析采用循环神经网络模型导致训练时间长且其他替代模型未能使得上下文和目标词之间实现良好交互等问题,提出了一种用于目标情感分析的注意力门控卷积网络模型。该模型首先将上下文和目标词通过多头注意力机制加强上下文和目标词之间的交互;其次采用门控卷积机制进一步提取关于目标词的情感特征;最后通过Softmax分类器将情感特征进行分类,输出情感极性。实验结果显示,与循环神经网络模型中准确率最高的循环注意力网络模型相比,在SemEval 2014任务四的餐厅和笔记本电脑数据集上的准确率分别提高了1.29%和0.12%;与循环神经网络模型中收敛速度较快的基于注意力的长短期记忆网络模型相比,收敛时间下降了约29.17s。     

基于空间注意力和卷积神经网络的视觉情感分析

为了解决现有基于深度学习方法的视觉情感分析忽略了图像各局部区域情感呈现的强度差异问题,提出一种结合空间注意力的卷积神经网络spatial attention with CNN, SA-CNN用于提升视觉情感分析效果。设计一个情感区域探测神经网络用于发现图像中诱发情感的局部区域;通过空间注意力机制对情感映射中各个位置赋予注意力权重,恰当抽取各区域的情感特征表示,从而有助于利用局部区域情感信息进行分类;整合局部区域特征和整体图像特征形成情感判别性视觉特征,并用于训练视觉情感的神经网络分类器。该方法在3个真实数据集TwitterⅠ、TwitterⅡ和Flickr上的情感分类准确率分别达到82.56%、80.23%、79.17%,证明利用好图像局部区域情感表达的差异性,能提升视觉情感分类效果。     

基于CNN-BiLSTM网络引入注意力模型的文本情感分析

为了解决单一卷积神经网络（CNN）缺乏利用文本上下文信息的能力和简单循环神经网络（RNN）无法解决长时依赖的问题,提出CNN-BiLSTM网络引入注意力模型的文本情感分析方法。首先利用CNN的特征强学习能力提取局部特征,再利用双向长短时记忆网络（BiLSTM）提取上下文相关特征的能力进行深度学习,最后,增加注意力层获取重要特征,使模型提取到有效的特征。在IMDB数据集上Accuracy值和均方根误差（RMSE）值分别达到90.34%和0.296 7,在Twitter数据集上Accuracy值和RMSE值分别达到76.90%、0.417 4,且模型时间代价小。结果表明,本文提出的模型有效提升了文本分类的准确率。     

用于目标情感分类的多跳注意力深度模型

文本情感分类是近年来自然语言处理领域的研究热点,旨在对文本蕴含的主观倾向进行分析,其中,基于特定目标的细粒度情感分类问题正受到越来越多的关注。在传统的深度模型中加入注意力机制,可以使分类性能显著提升。针对中文的语言特点,提出一种结合多跳注意力机制和卷积神经网络的深度模型（MHA-CNN）。该模型利用多维组合特征弥补一维特征注意力机制的不足,可以在没有任何先验知识的情况下,获取更深层次的目标情感特征信息。相对基于注意力机制的LSTM网络,该模型训练时间开销更小,并能保留特征的局部词序信息。最后在一个网络公开中文数据集（包含6类领域数据）上进行实验,取得了比普通深度网络模型、基于注意力机制的LSTM模型以及基于注意力机制的深度记忆网络模型更好的分类效果。     

基于注意力机制的卷积神经网络可视化方法

相比于传统机器学习算法,卷积神经网络"端到端"的黑盒特性使其内部工作机制缺乏透明性和可解释性,导致其在某些安全性要求较高的领域受到一定限制.为此,提出一种基于注意力机制的卷积神经网络可视化方法,用于可视化解释卷积神经网络中间层所学特征.该方法首先将注意力机制添加到网络结构中,跟随网络一起训练;然后,获取训练后模型的最高...     

基于多头自注意力和并行混合模型的文本情感分析

针对以往研究大多使用单一模型进行文本情感分析,导致无法很好地捕捉相关文本的情感特征,从而造成情感分析效果不理想的问题,提出一种基于多头自注意力和并行混合模型的文本情感分析方法。首先,利用Word2vec模型捕捉单词的语义特征,训练词向量;其次,借助双层多头自注意力机制(double layer multi-head self-attention,DLMA)学习文本内部的词依赖关系,捕获其内部结构特征;再次,使用并行的双向门限循环神经网络(bi-directional gated recurrent nnit,BiGRU)获取文本的序列特征;最后,借助改进的并行卷积神经网络(convolutional neural network,CNN)提取深层次特征信息。将该模型分别在2个数据集上进行实验验证,其准确率分别达到92.71%和91.08%。结果表明,该方法比其他模型具有更好的学习能力。     

基于因子分析的卷积神经网络模型压缩算法研究

针对复杂的卷积神经网络模型存在参数规模大、运算时间长等问题,提出一种有效的卷积神经网络模型压缩算法.该算法引入因子分析的思想对卷积神经网络模型进行压缩：首先将四维的卷积核权重张量转化为二维的矩阵形式,计算相关矩阵,并对其进行奇异值分解;其次,通过控制累积方差贡献率,确定适当的因子数量,计算因子载荷矩阵;最后,重构出更具代表性的卷积核.通过在Catdog、CIFAR10、CIFAR100三个数据集上进行验证,实验结果表明：该压缩算法能够在保证卷积神经网络精度的前提下,使AlexNet、ResNet的参数压缩率达到30.7%～68.2%,运行时间减少17.53%～37.21%.从而验证了本文提出的算法在压缩率和运算效率方面的优势,为基于因子分析的卷积神经网络模型压缩提供了一种可能的框架.     

高效通道注意力结合卷积神经网络的近红外光谱分析模型研究

近红外光谱分析技术有无损、高效的特点,在各领域都有广泛应用。但传统分析模型在面对近红外光谱数据量激增时往往出现预测精度不高、泛化能力差等问题。为此,提出一种基于卷积神经网络（CNN）与高效通道注意力（ECA）模块相结合的近红外光谱分析模型（CNNECANet）,该模型由8个一维卷积层、1个ECA模块、4个最大池化层、1个展平层、2个全连接层和1个参数优化器组成。ECA模块由1个全局平均池化、1个一维卷积层和1个Sigmoid激活函数组成。以啤酒、牛奶、柴油、谷物的近红外光谱公共数据为例,将CNNECANet与常用建模方法进行比较,CNNECANet比PLS的预测精度分别提高了30.3%、14.1%、29.5%、48.4%;CNNECANet比SVR的预测精度分别提高了33.5%、17.6%、39.0%、50.0%;CNNECANet比BP神经网络模型的预测精度分别提高了80.0%、29.0%、7.2%、42.7%。该模型具有更好的预测精度和鲁棒性,解决了传统近红外光谱建模算法容易出现过拟合、模型泛化性差等问题。     

结合上下文和注意力机制的特定目标情感分析

在模型中引入评价目标的上下文信息,通过LSTM对其进行独立语义编码,同时引入基于评价目标的注意力机制,改善得到的情感特征信息。最后在SemEval2014Task4的Restaurant和Twitter两个不同领域的数据集上进行了实验。     

基于卷积和可变形注意力的脑胶质瘤图像分割

对于脑胶质瘤图像分割这类密集预测的医学影像分割任务,局部和全局依赖关系都是不可或缺的,针对卷积神经网络缺乏建立全局依赖关系的能力,且自注意力机制在局部细节上捕捉能力不足等问题,提出了基于卷积和可变形注意力的脑胶质瘤图像分割方法。设计了卷积和可变形注意力Transformer的串行组合模块,其中卷积用于提取局部特征,紧随其后的可变形注意力Transformer用于捕捉全局依赖关系,建立不同分辨率下局部和全局依赖关系。作为一种CNN-Transformer混合架构,所提方法不需要任何预训练即可实现精准的脑胶质瘤图像分割。实验结果表明：所提方法在BraTS2020脑胶质图像分割数据集上平均Dice系数和平均95%豪斯多夫距离分别为83.56%和11.30 mm,达到了与其他脑胶质瘤图像分割方法相当的分割精度,同时降低了至少50%的计算开销,有效提升了脑胶质瘤图像分割的效率。     

用于文本情感极性分析的动态卷积神经网络超限学习算法

为改善动态卷积神经网络在文本情感分类方法中的泛化能力,提出了一种动态卷积超限学习算法.对动态卷积神经网络的输出层加以改进,使用浅层随机神经网络替代全连接层,利用参数随机生成的扰动性能,降低分类端对训练样本的依赖,避免过拟合,提升分类性能.在公共数据集上的实验证明:相对改进前的动态卷积学习算法以及超限学习机,所提出的方法在准确率、F1测度等多个标准指标上均体现了更优的分类性能.     

基于MGCNN的商品评论情感分析

为了解决传统的深度学习模型会忽略语料库中全局词共现信息所包含的非连续和长距离语义的问题。本文提出记忆图卷积神经网络（MGCNN）引入注意力机制的商品评论情感分析方法。首先提取词与词、词与文档之间的关系,以全部的词和文档作为节点,将整个数据集构造成一个异构文本图。再基于图卷积网络（GCN）来构建用于图结构数据的神经网络,利用长短期记忆网络（LSTM）提取上下文相关特征,并使用注意力层获取重要特征。多组对比实验结果表明,本方法的分类效果更好,且随着训练集数据所占比例的降低,其优势更加显著。     

Convolutional Neural Network Based on Spatial Pyramid for Image Classification

A novel convolutional neural network based on spatial pyramid for image classification is proposed. The network exploits image features with spatial pyramid representation. First, it extracts global features from an original image, and then different layers of grids are utilized to extract feature maps from different convolutional layers. Inspired by the spatial pyramid, the new network contains two parts, one of which is just like a standard convolutional neural network, composing of alternating convolutions and subsampling layers. But those convolution layers would be averagely pooled by the grid way to obtain feature maps, and then concatenated into a feature vector individually. Finally, those vectors are sequentially concatenated into a total feature vector as the last feature to the fully connection layer. This generated feature vector derives benefits from the classic and previous convolution layer, while the size of the grid adjusting the weight of the feature maps improves the recognition efficiency of the network. Experimental results demonstrate that this model improves the accuracy and applicability compared with the traditional model.     

基于ReLU稀疏性的MAXOUT卷积神经网络的数据分类算法

卷积神经网络作为一种具有深度学习能力的人工学习网络,由于其具有权值数量少、网络模型复杂度低以及算法效率高等优点在很多领域被广泛应用,但是其表现在很大程度上依赖于激活函数的选取,而激活函数的选取又比较复杂,大都是依靠经验或者实验来选择,所以这个过程中会出现无先验知识可借鉴或者参数类型繁琐难以较快确定的情况。MAXOUT卷积神经网络的出现解决了激活函数难以选择的问题,在研究M AXOUT网络构架的基础上,针对其不稀疏的特性引入Re LU稀疏单元,提出了一种基于Re LU函数稀疏性的MAXOUT卷积神经网络,并在MINST和CIFAR 10两个数据集上分别进行了数据分类实验。实验结果表明,具有稀疏性的MAXOUT卷积神经网络的分类效果更加理想。     

一种多尺度嵌套卷积神经网络模型

卷积神经网络模型要求训练图像与测试图像在空间尺度上一致.为弱化这一限制,对卷积层特征提取器进行多尺度改进,提出了一种尺度不变卷积神经网络模型,以自动适应输入图像在平面空间上的尺度变化.同时,将多层Maxout网络嵌入新模型中,以进一步提高特征提取能力,提高图像识别与分类的准确性.实验测试结果表明,该模型提高了传统卷积神经网络模型的尺度不变性和分类精度.     

基于约束卷积神经网络的轿车款式识别

为了对车辆款式和型号进行分类筛选,降低侦查人员的劳动强度,提出了一种用约束卷积神经网络实现轿车款式识别的方法,相比车辆类型识别更为精细。首先通过测试进行正面"车脸"的识别,然后尝试整车车身(并带有部分背景)的识别。测试结果表明,对于包含部分背景内容的整车车身识别,在卷积神经网络中添加约束条件后,误识别率有4.06%的降幅,从而验证了该方法的有效性。     

基于卷积神经网络的电子鼻分类识别

在混合气体识别的研究中,针对目前电子鼻应用于化工污染物种类监测时难以达到理想精度的问题,提出了一个基于卷积神经网络的气体分类识别算法.首先利用卷积神经网络的自适应特征提取能力,有效降低原始数据对后续操作的影响;其次进行多次实验训练,对卷积神经网络进行参数优化,提高网络模型性能;最后将提出的卷积神经网络算法与BP神经网络算法分别应用于加州大学公开数据集中一氧化碳和乙烯混合气体的实验数据中.实验结果表明,卷积神经网络算法对此数据集的气体种类检测准确率达到93%,比BP神经网络算法应用于气体识别时精度更高、误差更小,为电子鼻系统气体种类检测提供了一种新的方法.     

基于卷积神经网络的彩色铅笔画算法

为了解决传统彩色铅笔画算法生成结果单一的问题,提出了一种基于卷积神经网络（CNN）生成彩色铅笔画的算法.采用分数阶微分获取原始图像轮廓信息,用卷积神经网络获取艺术家手绘铅笔画风格,利用直方图匹配获取与手绘铅笔画相似的色调,并使用L-BFGS优化算法来合成具有铅笔画效果的图像.该算法能够生成具有不同风格的彩色铅笔画图像.实验结果表明,该算法生成的图像保留了更多原始图像的细节信息,风格更加灵活多样.     

基于CNN算法的网络信任等级模型研究

提出一种基于CNN算法的网络信任等级模型,解决用户节点信任值的高低对整个网络信任度造成影响问题。使用设定好的卷积神经网络对用户节点数据进行训练,完成用户信任等级分类工作,在提高执行效率的基础上,对数据完成有效分类,确定用户特征属性的具体维度范围,并通过噪声、运行时间、准确率和分类精度等不同方面对不同算法进行对比验证模型,实验结果表明,改进后的算法在集群环境下执行的效率得到很大提升,能够高效处理实验数据。