基于卷积注意力机制的情感分类方法

为提取文本的局部最优情感极性、捕捉文本情感极性转移的语义信息,提出一种基于卷积注意力机制的神经网络模型(CNN_attention_LSTM)。使用卷积操作提取文本注意力信号,将其加权融合到Word-Embedding文本分布式表示矩阵中,突出文本关注重点的情感词与转折词,使用长短记忆网络LSTM来捕捉文本前后情感语义关系,采用softmax线性函数实现情感分类。在4个数据集上进行的实验结果表明,在具有情感转折词的文本中,该模型能够更精准捕捉文本情感倾向,提高分类精度。     

基于层级注意力机制与双向长短期记忆神经网络的智能合约自动分类模型

针对区块链平台上智能合约应用种类繁多,人工筛选合适的智能合约应用服务日益困难的问题,提出一种基于层级注意力机制与双向长短期记忆（Bi-LSTM）神经网络的智能合约自动分类模型——HANN-SCA。首先,利用Bi-LSTM网络从智能合约源代码和账户信息两个角度同时建模,最大限度地提取智能合约的特征信息。其中源代码角度关注智能合约中的代码语义特征,账户信息角度关注智能合约的账户特征。然后,在特征学习过程中从词层面和句层面分别引入注意力机制,重点捕获对智能合约分类有重要意义的单词和句子。最后,拼接代码特征与账户特征以生成智能合约文档级特征表示,通过Softmax层完成分类任务。实验结果表明,所提模型在Dataset-E、Dataset-N和Dataset-EO数据集上的分类正确率分别达到了93.1%、91.7%和92.1%,效果明显优于传统的支持向量机模型（SVM）和其他神经网络基准模型,且具有更好的稳定性与更高的收敛速度。     

基于注意力交互机制的层次网络情感分类

目前关于商品评论的深度网络模型难以有效利用评论中的用户信息和产品信息.提出一种基于注意力交互机制的层次网络(HNAIM)模型.该模型利用层次网络对不同粒度语义信息进行提取,并通过注意力交互机制在层次网络中通过捕捉用户、产品中的重要特征来帮助提取文本特征.最终将用户视角下的损失值和产品视角下的损失值作为辅助分类信息,并利...     

基于注意力机制的TAI-CNN图文跨模态情感分类方法

以往的情感分类大多集中在单模态上,然而多模态的情感信息之间往往具有互补性,针对目前使用单模态做情感分类不能全面捕捉情感语义且存在忽视具有重要特征的情感信息等问题,提出一种基于注意力机制的TAI-CNN图文跨模态情感分类方法.构建TCNN文本情感分类模型和ICNN图像情感分类模型,采用最大值图文决策级融合方法来构建图文跨...     

跨领域文本情感分类研究进展

作为社会媒体文本情感分析的重要研究课题之一,跨领域文本情感分类旨在利用源领域资源或模型迁移地服务于目标领域的文本情感分类任务,其可以有效缓解目标领域中带标签数据不足问题.从3个角度对跨领域文本情感分类方法行了归纳总结:(1)按照目标领域中是否有带标签数据,可分为直推式和归纳式情感迁移方法;(2)按照不同情感适应性策略,可分为实例迁移方法、特征迁移方法、模型迁移方法、基于词典的方法、联合情感主题方法以及图模型方法等;(3)按照可用源领域个数,可分为单源和多源跨领域文本情感分类方法.此外,还介绍了深度迁移学习方法及其在跨领域文本情感分类的最新应用成果.最后,围绕跨领域文本情感分类面临的关键技术问题,对可能的突破方向进行了展望.     

融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型

针对传统的基于注意力机制的神经网络模型不能对方面特征和情感信息进行有效关注，以及不同距离或不同方向的上下文词对方面词的情感极性判断有不同的贡献等问题，提出一种融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型（LWAOA-LSTM）。首先，为词向量加入位置权重信息；然后，使用长短期记忆（LSTM）网络同时对方面和句子进行建模以生成方面表示和句子表示，同时通过注意力交叉注意力模块共同学习方面和句子的表示以获得方面到文本和文本到方面的交互关注，并自动关注句子中的重要部分；最后，在景点、餐饮、住宿不同主题数据集上进行实验，验证了该模型对方面情感分析的准确性。实验结果表明，所提模型在景点、餐饮、住宿主题数据集上的准确率分别达到78.3%、80.6%和82.1%，取得了比传统LSTM网络模型更好的效果。     

基于对抗双向GRU网络的跨语言情感分类方法

为了提高资源匮乏语言的情感分类性能,提出一种基于对抗双向GRU网络相结合的跨语言情感分类模型(ABi-GRU)。通过基于语义双语词嵌入方法来提取中英文文本词向量特征;结合注意力机制的双向GRU网络提取文本的上下文情感特征,同时引入生成对抗网络缩小中英文向量特征分布之间的差距;通过情感分类器进行情感分类。实验结果分析表明,该方法有效地提升了跨语言情感分类的准确率。     

基于动态词向量和注意力机制的文本情感分类

针对Word2vec等静态词向量模型对于每个词只有唯一的词向量表示,无法学习在不同上下文中的词汇多义性问题,提出一种基于动态词向量和注意力机制的文本情感分类方法.在大型语料库上利用深度双向语言模型预训练通用词向量;在情感分类任务的训练语料上对向量模型进行微调,得到最终的上下文相关的动态词向量作为输入特征;搭建双向长短期...     

基于词级交互注意力机制的方面级情感分类模型

方面级情感分类旨在判断句子中每个具体方面的情感极性.传统的注意力机制模型可能会给句子中重要情感词分配过低的注意力权重,而且很少考虑上下文与方面词的交互信息.针对第1个问题,本文改进了传统的输入方式,以方面词为界限,将句子划分成包含方面词的上文、方面词和包含方面词的下文3部分作为输入,分别提取上文或下文中的重要情感特征.针对第2个问题,本文提出了词级交互注意力机制,分别学习上文与方面词、下文与方面词的词级交互,得到特定于方面的上文表示和下文表示向量,最后将它们拼接得到特定于方面的上下文表示向量,作为方面级情感分类特征.通过在3个标准数据集上的实验证明,本文的模型性能优于基线模型.     

基于注意力机制的Bi-LSTM结合CRF的新闻命名实体识别及其情感分类

针对搜狐coreEntityEmotion_train语料核心实体识别和核心实体情感分析的任务,提出了基于注意力机制的长短期记忆神经网络结合条件随机场模型（AttBi-LSTM-CRF）。首先,对文本进行预训练,将每个字映射为维度相同的低维向量;然后,把这些向量输入到基于注意力机制的长短期记忆神经网络（AttBi-LSTM）中,以获取长远的上下文信息并集中注意力到与输出标签高度相关的信息上;最后,通过条件随机场（CRF）层获取整个序列的最优标签。将AttBi-LSTM-CRF模型与双向长短记忆神经网络（Bi-LSTM）、AttBi-LSTM和双向长短期记忆神经网络结合条件随机场（Bi-LSTM-CRF）模型进行对比实验。实验结果表明,AttBi-LSTM-CRF模型的准确率达到0.786,召回率达到0.756,F1值达到0.771,优于对比模型,验证了AttBi-LSTM-CRF性能的优越性。     

基于多尺度卷积和注意力机制的LSTM时间序列分类

时间序列的多尺度特征包含丰富的类别信息,且这些信息对分类具有不同的重要程度,然而现有的单变量时间序列分类模型通常以固定大小的卷积核提取序列特征,导致不能有效地获取并聚焦重要的多尺度特征。针对上述问题,提出一种基于多尺度卷积和注意力机制（MCA）的长短时记忆（LSTM）模型（MCA-LSTM）,它能够关注并融合重要的多尺度特征,从而实现更准确的分类。其中,LSTM使用记忆细胞和门机制控制序列信息的传递,并充分提取时间序列的相关性信息;多尺度卷积模块（MCM）使用具有不同卷积核的卷积神经网络（CNN）提取序列的多尺度特征;注意力模块（AM）融合通道信息获取特征的重要性并分配注意力权重,从而使网络关注重要的时间序列特征。在UCR档案的65个单变量时间序列数据集上的实验结果表明,对比当前最先进的基于深度学习的时间序列分类模型：USRL-FordA（Unsupervised Scalable Representation Learning-FordA）、USRL-Combined （1-NN） （Unsupervised Scalable Representation Learning-Combined （1-Nearest Neighbor）） OS-CNN（Omni-Scale Convolutional Neural Network）、Inception-Time和RTFN（Robust Temporal Feature Network for time series classification）,MCA-LSTM在平均错误率（ME）上分别降低了7.48、9.92、2.43、2.09和0.82个百分点,并取得了最高的算术平均排名（AMR）和几何平均排名（GMR）,分别为2.14和3.23,这些充分体现了MCA-LSTM模型在单变量时间序列分类中的有效性。     

基于长短期记忆多维主题情感倾向性分析模型

针对中文微博全局性情感倾向分类的准确性不高的问题,提出基于长短期记忆模型的多维主题模型（MT-LSTM）。该模型是一个多层多维序列计算模型,由多维长短期记忆（LSTM）细胞网络组成,适用于处理向量、数组以及更高维度的数据。该模型首先将微博语句分为多个层次进行分析,纵向以三维长短期记忆模型（3D-LSTM）处理词语及义群的情感倾向,横向以多维长短期记忆模型（MD-LSTM）多次处理整条微博的情感倾向;然后根据主题标签的高斯分布判断情感倾向;最后将几次判断结果进行加权得到最终的分类结果。实验结果表明,该算法平均查准率达91%,最高可达96.5%;中性微博查全率高达50%以上。与递归神经网络（RNN）模型相比,该算法F-测量值提升40%以上;与无主题划分的方法相比,细致的主题划分可将F-测量值提升11.9%。所提算法具有较好的综合性能,能够有效提升中文微博情感倾向分析的准确性,同时减少训练数据量,降低匹配计算的复杂度。     

基于BiLSTM-CNN串行混合模型的文本情感分析

针对现有文本情感分析方法准确率不高、实时性不强以及特征提取不充分的问题,构建了双向长短时记忆神经网络和卷积神经网络（BiLSTM-CNN）的串行混合模型。首先,利用双向循环长短时记忆（BiLSTM）神经网络提取文本的上下文信息;然后,对已提取的上下文特征利用卷积神经网络（CNN）进行局部语义特征提取;最后,使用Softmax得出文本的情感倾向。通过与CNN、长短时记忆神经网络（LSTM）、BiLSTM等单一模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了2.02个百分点、1.18个百分点和0.85个百分点;与长短时记忆神经网络和卷积神经网络（LSTM-CNN）、BiLSTM-CNN并行特征融合等混合模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了1.86个百分点和0.76个百分点。实验结果表明,基于BiLSTM-CNN的串行混合模型在实际应用中具有较大的价值。     

基于文本筛选和改进BERT的长文本方面级情感分析

方面级情感分析旨在分类出文本在不同方面的情感倾向。在长文本的方面级情感分析中，由于长文本存在的冗余和噪声问题，导致现有的方面级情感分析算法对于长文本中方面相关信息的特征提取不够充分，分类不精准；而在方面分层为粗粒度和细粒度方面的数据集上，现有的解决方案没有利用粗粒度方面中的信息。针对以上问题，提出基于文本筛选和改进BERT的算法TFN+BERT-Pair-ATT。该算法首先利用长短时记忆网络（LSTM）和注意力机制相结合的文本筛选网络（TFN）从长文本中直接筛选出与粗粒度方面相关的部分语句；然后将部分语句按次序进行组合，并与细粒度方面相结合输入至在BERT上增加注意力层的BERT-Pair-ATT中进行特征提取；最后使用Softmax进行情感分类。通过与基于卷积神经网络（CNN）的GCAE（Gated Convolutional Network with Aspect Embedding）、基于LSTM的交互式注意力模型（IAN）等经典模型相比，该算法在验证集上的相关评价指标分别提高了3.66%和4.59%，与原始BERT模型相比提高了0.58%。实验结果表明，基于文本筛选和改进BERT的算法在长文本方面级情感分析任务中具有较大的价值。     

基于注意力机制的双向长短时记忆网络模型突发事件演化关系抽取

针对现有突发事件关系抽取研究多集中于因果关系抽取而忽略了其他演化关系的问题，为了提高应急决策中信息抽取的完备性，应用一种基于注意力机制的双向长短时记忆（LSTM）网络模型进行突发事件演化关系抽取。首先，结合突发事件演化关系的概念，构建演化关系模型并进行形式化定义，依据模型对突发事件语料进行标注；其次，搭建双向LSTM网络结构，并引入注意力机制计算注意力概率以突出关键词汇在文本中的重要程度；最终，使用搭建的网络模型进行演化关系抽取得到结果。在演化关系抽取实验中，相对于现有因果关系抽取方法，所提方法不仅抽取出更加充分的演化关系，为突发事件应急决策提供了更完善的信息；同时，在正确率、召回率和F1分数上分别平均提升了7.3%、6.7%和7.0%，有效提高了突发事件演化关系抽取的准确性。     

基于文本筛选和改进BERT的长文本方面级情感分析

方面级情感分析旨在分类出文本在不同方面的情感倾向。在长文本的方面级情感分析中,由于长文本存在的冗余和噪声问题,导致现有的方面级情感分析算法对于长文本中方面相关信息的特征提取不够充分,分类不精准;而在方面分层为粗粒度和细粒度方面的数据集上,现有的解决方案没有利用粗粒度方面中的信息。针对以上问题,提出基于文本筛选和改进BERT的算法TFN+BERT-Pair-ATT。该算法首先利用长短时记忆网络（LSTM）和注意力机制相结合的文本筛选网络（TFN）从长文本中直接筛选出与粗粒度方面相关的部分语句;然后将部分语句按次序进行组合,并与细粒度方面相结合输入至在BERT上增加注意力层的BERT-Pair-ATT中进行特征提取;最后使用Softmax进行情感分类。通过与基于卷积神经网络（CNN）的GCAE（Gated Convolutional Network with Aspect Embedding）、基于LSTM的交互式注意力模型（IAN）等经典模型相比,该算法在验证集上的相关评价指标分别提高了3.66%和4.59%,与原始BERT模型相比提高了0.58%。实验结果表明,基于文本筛选和改进BERT的算法在长文本方面级情感分析任务中具有较大的价值。     

基于深层长短期记忆网络与批规范化的间歇过程故障检测方法

传统的基于数据驱动的间歇过程故障诊断方法往往需要对过程数据的分布进行假设，而且对非线性等复杂数据的监控往往会出现误报和漏报，为此提出一种基于长短期记忆网络（LSTM）与批规范化（BN）结合的监督学习方法，不需要对原始数据的分布进行假设。首先，对间歇过程原始数据运用一种按变量展开并连续采样的预处理方式，使处理后的数据可以向LSTM单元输入；然后，利用改进的深层LSTM网络进行特征学习，该网络通过添加BN层，结合交叉熵损失的表示方法，可以有效提取间歇过程数据的特征并进行快速学习；最后，在一类半导体蚀刻过程上进行仿真实验。实验结果表明，所提方法比多元线性主成分分析（MPCA）方法故障识别的种类更多，可以有效地识别各类故障，对故障的整体检测率达到95%以上；比传统单层LSTM模型建模速度更快，且对故障的整体检测率提高了8个百分点以上，比较适合处理间歇过程中具有非线性、多工况等特征的故障检测问题。     

基于深度卷积长短期记忆网络的森林火灾烟雾检测模型

针对采样的每帧烟雾特征具有极大的相似性，以及森林火灾烟雾数据集相对较小且单调等问题，为充分利用烟雾的静态与动态信息来达到预防森林火灾的目的，提出一种深度卷积集成式长短期记忆网络（DC-ILSTM）模型。首先，使用在ImageNet数据集上预训练好的VGG-16网络进行基于同构数据的特征迁移，以有效提取出烟雾特征；其次，基于池化层与长短期记忆网络（LSTM）提出一种集成式长短期记忆网络（ILSTM），并利用ILSTM分段融合烟雾特征；最后，搭建一种可训练的深度神经网络模型用于森林火灾烟雾检测。烟雾检测实验中，与深卷积长递归网络（DCLRN）相比，DC-ILSTM在最佳效率下以10帧的优势检测到烟雾，而且在测试准确率上提高了1.23个百分点。实验结果表明，DC-ILSTM在森林火灾烟雾检测中有很好的适用性。