基于双注意力卷积神经网络模型的情感分析研究

卷积神经网络（Convolutional Neural Networks,CNN）无法判别输入文本中特征词与情感的相关性.因此提出一种双注意力机制的卷积神经网络模型（Double Attention Convolutional Neural Networks,DACNN）,将词特征与词性特征有效融合后得到本文的特征表示,确定情感倾向.本文提出局部注意力的卷积神经网络模型,改进卷积神经网络的特征提取能力,采用双通道的局部注意力卷积神经网络提取文本的词特征和词性特征.然后使用全局注意力为特征分配不同的权重,有选择地进行特征融合,最后得到文本的特征表示.将该模型在MR和SST-1数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.7%和1%的提升.     

基于多头自注意力和并行混合模型的文本情感分析

针对以往研究大多使用单一模型进行文本情感分析,导致无法很好地捕捉相关文本的情感特征,从而造成情感分析效果不理想的问题,提出一种基于多头自注意力和并行混合模型的文本情感分析方法。首先,利用Word2vec模型捕捉单词的语义特征,训练词向量;其次,借助双层多头自注意力机制(double layer multi-head self-attention,DLMA)学习文本内部的词依赖关系,捕获其内部结构特征;再次,使用并行的双向门限循环神经网络(bi-directional gated recurrent nnit,BiGRU)获取文本的序列特征;最后,借助改进的并行卷积神经网络(convolutional neural network,CNN)提取深层次特征信息。将该模型分别在2个数据集上进行实验验证,其准确率分别达到92.71%和91.08%。结果表明,该方法比其他模型具有更好的学习能力。     

基于CNN-BiLSTM网络引入注意力模型的文本情感分析

为了解决单一卷积神经网络（CNN）缺乏利用文本上下文信息的能力和简单循环神经网络（RNN）无法解决长时依赖的问题,提出CNN-BiLSTM网络引入注意力模型的文本情感分析方法。首先利用CNN的特征强学习能力提取局部特征,再利用双向长短时记忆网络（BiLSTM）提取上下文相关特征的能力进行深度学习,最后,增加注意力层获取重要特征,使模型提取到有效的特征。在IMDB数据集上Accuracy值和均方根误差（RMSE）值分别达到90.34%和0.296 7,在Twitter数据集上Accuracy值和RMSE值分别达到76.90%、0.417 4,且模型时间代价小。结果表明,本文提出的模型有效提升了文本分类的准确率。     

面向目标情感分析的双重图注意力网络模型

目标情感分析旨在分析评论文本中不同目标所对应的情感倾向。当前,基于图神经网络的方法使用依存句法树来融入依存句法关系,一方面,此类方法大多忽略了依存关系缺乏区分度的事实;另一方面,未考虑依存句法树提供的依存关系存在目标与情感词关系缺失的问题。为此,提出双重图注意力网络模型。该模型首先使用双向长短期记忆网络得到具有语义信息的词节点表示,然后根据依存句法树在词节点表示上构建句法图注意力网络,实现依存句法关系重要程度的区分,更有效地建立目标与情感词之间的关系,进而得到更准确的目标情感特征表示;同时根据句子的无向完全图构建全局图注意力网络来挖掘目标与情感词缺失的关系,进一步提升模型的性能。实验结果表明,与现有模型对比,双重图注意力网络模型在不同数据集上的准确率与宏平均F1值均取得了更好结果。     

用于目标情感分类的多跳注意力深度模型

文本情感分类是近年来自然语言处理领域的研究热点,旨在对文本蕴含的主观倾向进行分析,其中,基于特定目标的细粒度情感分类问题正受到越来越多的关注。在传统的深度模型中加入注意力机制,可以使分类性能显著提升。针对中文的语言特点,提出一种结合多跳注意力机制和卷积神经网络的深度模型（MHA-CNN）。该模型利用多维组合特征弥补一维特征注意力机制的不足,可以在没有任何先验知识的情况下,获取更深层次的目标情感特征信息。相对基于注意力机制的LSTM网络,该模型训练时间开销更小,并能保留特征的局部词序信息。最后在一个网络公开中文数据集（包含6类领域数据）上进行实验,取得了比普通深度网络模型、基于注意力机制的LSTM模型以及基于注意力机制的深度记忆网络模型更好的分类效果。     

基于空间注意力和卷积神经网络的视觉情感分析

为了解决现有基于深度学习方法的视觉情感分析忽略了图像各局部区域情感呈现的强度差异问题,提出一种结合空间注意力的卷积神经网络spatial attention with CNN, SA-CNN用于提升视觉情感分析效果。设计一个情感区域探测神经网络用于发现图像中诱发情感的局部区域;通过空间注意力机制对情感映射中各个位置赋予注意力权重,恰当抽取各区域的情感特征表示,从而有助于利用局部区域情感信息进行分类;整合局部区域特征和整体图像特征形成情感判别性视觉特征,并用于训练视觉情感的神经网络分类器。该方法在3个真实数据集TwitterⅠ、TwitterⅡ和Flickr上的情感分类准确率分别达到82.56%、80.23%、79.17%,证明利用好图像局部区域情感表达的差异性,能提升视觉情感分类效果。     

结合上下文和注意力机制的特定目标情感分析

在模型中引入评价目标的上下文信息,通过LSTM对其进行独立语义编码,同时引入基于评价目标的注意力机制,改善得到的情感特征信息。最后在SemEval2014Task4的Restaurant和Twitter两个不同领域的数据集上进行了实验。     

基于卷积门控循环网络的齿轮箱故障诊断

为充分利用信号的时序相关性特征,增强模型对数据信息的全面挖掘能力,以进一步提高卷积神经网络(CNN)诊断精度,本文将CNN与善于处理数据时序相关性特征的门控循环单元(GRU)相结合,提出了一种新的齿轮箱故障诊断模型。CNN通过端对端的方式提取数据空间特征,并将提取的特征作为GRU的输入进一步提取时空特征,最后将GRU提取的时空特征作为SoftMax的输入进行故障识别。两组齿轮箱实验数据分析结果显示:平均故障诊断精度分别可达99.86%和99.85%,与其它现有模型的结果对比体现了本文模型的有效性和优越性。     

基于自注意力和门控机制的答案选择模型

针对现有答案选择方法语义特征提取不充分和准确性差的问题,引入自注意力和门控机制,提出了一种答案选择模型.该模型首先在问题和答案文本内部利用层叠自注意力进行向量表示,并在自注意力模块中让单词和位置分开进行多头注意力;然后将答案句通过卷积神经网络(Convolutional neural network,CNN)得到的向量...     

基于BERT与注意力机制的方面级隐式情感分析模型

在方面级情感文本中存在部分不含情感词的评论句,对其情感的研究被称为方面级隐式情感分析.现有分析模型在预训练过程中可能会丢失与方面词相关的上下文信息,并且不能准确提取上下文中深层特征.本文首先构造了方面词感知BERT预训练模型,通过将方面词引入到基础BERT的输入嵌入结构中,生成与方面词信息相关的词向量;然后构造了语境感知注意力机制,对由编码层得到的深层隐藏向量,将其中的语义和句法信息引入到注意力权重计算过程,使注意力机制能更加准确地分配权重到与方面词相关的上下文.对比实验结果表明,本文模型的效果优于基线模型.     

基于注意力与双通道网络的方面级情感分析

针对方面级情感分析任务不能充分兼顾句法全面性与语义关联性,且大多数研究中使用的图卷积仅考虑信息自上而下的传播,忽略了信息自下而上的聚合等问题,本文提出了基于注意力与双通道网络的情感分析模型.该模型在扩展依存表示的同时使用自注意力获取具有语义关联的信息矩阵,使用双通道网络结合全局句法与语义关联信息,双通道网络分别侧重于自上而下传播的语义特征与自下而上聚合的结构特征.通道内的图卷积输出会与信息矩阵进行交互注意力起到残差互补的作用,然后通过平均池化完成通道内的任务.最后将基于语义与基于结构的决策融合得到最终的情感分类特征.实验结果表明该模型在三个公开数据集上的准确率与F1值均有提升.     

基于多尺度卷积神经网络的短期电力负荷预测

In order to improve the accuracy of short-term load forecasting of power system, a multi-scale information fusion convolutional neural network(MS-ConvNet)model based on deep learning technology was proposed. A full convolution network structure and causal logic constraints were introduced to enhance the expression of time series features; a multi-scale convolution was utilized to extract the relationship among time domain data of different lengths for obtaining more abundant series features; a residual network structure was designed to increase the network depth, which increased the acceptance domain of outputneurons and enhanced the prediction accuracy. The results show that the accuracy and stability of MS-ConvNet model is better than those of multi-layer perceptron machine, long-short term memory network and gated recurrent unit network, indicating that the as-proposed model has a good application prospect in power load forecasting.     

基于域对抗网络和BERT的跨领域文本情感分析

跨领域文本情感分析时,为了使抽取的共享情感特征能够捕获更多的句子语义信息特征,提出域对抗和BERT(bidirectional encoder representations from transformers)的深度网络模型。利用BERT结构抽取句子语义表示向量,通过卷积神经网络抽取句子的局部特征。通过使用域对抗神经网络使得不同领域抽取的特征表示尽量不可判别,即源领域和目标领域抽取的特征具有更多的相似性;通过在有情感标签的源领域数据集上训练情感分类器,期望该分类器在源领域和目标领域均能达到较好的情感分类效果。在亚马逊产品评论数据集上的试验结果表明,该方法具有良好的性能,能够更好地实现跨领域文本情感分类。     

结合句法依存信息的方面级情感分类

引入句法依存信息到原方面术语,提出一种新的方面术语表示方法,利用Glove词向量表示单词以及单词与单词之间的依存关系,构造出包含句法依存信息的依存关系邻接矩阵和依存关系表示矩阵,利用图卷积神经网络和多头注意力机制将句法依存信息融入到方面术语中,使得方面术语表达与上下文结构高度相关。将改进后的方面词术语表示替换到现有模型后,模型泛化能力得到有效提升。对比试验和分析结果表明:该方法具有有效性和泛化性。     

TCS-Net：一种核电安全壳细小裂缝分割网络

针对核电安全壳表面裂缝视觉检查任务面临的裂缝细小且占像素少、裂缝与背景对比度低、相似纹理干扰多、光照影响等问题,作者提出了一种细小裂缝分割模型TCS-Net(Segmentation network of tiny cracks)。该模型是编码——解码的网络结构,在下采样过程使用Soft Pooling减少编码过程池化导致的信息损失以保留图像边缘细节及位置信息;解码端在下采样过程中通过加入兼顾通道注意力和空间注意力的语义补偿模块(ResCRAM)以融合编码端的各层特征,可增强裂缝的多尺度细节信息;结合Bce(Binary Cross-Entropy)损失和Dice损失作为目标损失函数,以解决单一损失关注度倾向带来的训练不稳定的问题,也可优化Acc(Accuracy)、IOU(Intersection over Union)、Recall等性能指标。为了验证模型的有效性,在真实的安全壳图像对所提裂缝分割模型进行了测试。实验结果表明,与现有的主流语义分割模型相比,TCS-Net裂缝分割模型的IOU指标可提高5%-9%,Recall指标可提高9%-13%,由此说明该模型具有检测率和检测精度更高,能有效适用于目标与背景严重不平衡、背景复杂且干扰较多情况下的细小裂缝分割任务。