基于特征融合的文本情感分类

虽然卷积神经网络(CNN)可以提取局部特征,长短期记忆网络(LSTM)可以提取全局特征,它们都表现出了较好的分类效果,但CNN在获取文本的上下文全局信息方面有些不足,而LSTM容易忽略词语之间隐含的特征信息.因此,提出了用CNN_BiLSTM_Attention并行模型进行文本情感分类.首先,使用CNN提取局部特征,同...     

基于GLU-CNN和Attention-BiLSTM的神经网络情感倾向性分析

情感分析是自然语言处理领域(NLP)中重要的语义处理任务,目前处理NLP任务的两大主流模型是卷积神经网络(CNN)和循环神经网络(RNN)以及他们的变体。由于自然语言在结构上存在依赖关系,且重要信息可能出现在句子的任何位置。RNN可能会忽略为了解决这些问题,我们提出了一种新的模型ABGC,将Attention机制加入到BiLSTM中,可以更好捕获句子中最重要的局部信息,同时融合添加GLU(非线性单元)的卷积神经网络(CNN),可以更好捕捉文本的全局信息,然后将两种模型提取到的特征融合,既有效避免了LSTM的梯度消失问题,又解决了CNN忽略上下文语义的问题。我们在两种数据集上进行对比实验,实验结果表明ABGC模型可以有效提高文本分类准确率,同时减少运行时间。     

基于特征融合的文本情感分类

虽然卷积神经网络（CNN）可以提取局部特征,长短期记忆网络（LSTM）可以提取全局特征,它们都表现出了较 好的分类效果,但CNN在获取文本的上下文全局信息方面有些不足,而LSTM容易忽略词语之间隐含的特征信息。因此,提 出了用CNN_BiLSTM_Attention 并行模型进行文本情感分类。首先,使用CNN提取局部特征,同时BiLSTM提取带有上下文 语义信息的全局特征,之后将两者提取的特征拼接在一起,进行特征融合。这样使得模型既能捕获局部短语级特征,又能捕获 上下文结构信息,并对特征词的重要程度,利用注意力机制分配不同权重,进而提高模型的分类效果。通过与单一模型CNN、 LSTM等深度神经网络模型的对比,本文所提的CNN_BiLSTM_Attention并行模型在综合评价指标F1 score 和准确率上都有 提升,实验结果表明,本文所提模型在文本情感分类任务中取得了较好的结果,比其他神经网络模型有更好的实用价值。     

基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

基于词向量技术和混合神经网络的情感分析

情感分析是近些年自然语言处理的一个研究热点,一方面以word2vec为代表的预处理词向量技术得到了广泛应用,本文通过融合情感标签获得word2vec-ST词向量来提取句子的语义和情感信息并达到了较好的效果,另一方面,LSTM作为RNN的衍生模型已经成熟的应用到自然语言处理的模型构建当中,但LSTM在短文本和训练语料相对有限的情况下并没有展现出应有的优势,因此,借助于CNN在捕捉局部信息上的优势,本文提出了一种融合LSTM和CNN的注意力模型网络来提取文本的上下文信息,并通过实现attention机制的BILSTM来替代LSTM得到AT-BL C模型进而达到了更好的效果。本文对比分析了LSTM和CNN的两种融合方式并在标准数据集上进行了比较。实验结果表明,以融合情感信息的word2vec-ST为词向量层基础,AT-BL C确实获得了更好的准确率和F值。     

子模式典型相关分析及其在人脸识别中的应用

传统的典型相关分析 (CCA) 是有效的特征提取方法之一, 已广泛应用于包括人脸识别在内的模式识别的许多领域. 但在人脸识别为代表的高维小样本问题上该方法存在如下不足: 1) 人脸识别的小样本特性使 CCA 两组特征矢量构成的总体协方差矩阵奇异, 难以直接应用; 2) 作为一种全局线性投影方法, 不足以很好地描述非线性的人脸识别问题; 3) 缺乏对局部变化的识别鲁棒性. 本文受已提出的子模式主分量分析 (SpPCA) 的启发, 提出了子模式典型相关分析 (SpCCA). 该方法将局部与全局特征矢量之间的相关性特征作为有效的判别信息, 既达到了融合局部与全局信息的目的, 又消除了特征之间的信息冗余. 通过子模式的划分, SpCCA 避免了小样本问题, 更好地描述了非线性的人脸识别问题; 并通过投票方式融合结果, 增强了对局部变化的鲁棒性. 在 AR 与 Yale 两个人脸数据集上的实验证实了该方法比对比方法不仅有更优的识别性能, 而且更加稳定和鲁棒.     

基于CNN和LSTM的多通道注意力机制文本分类模型

针对传统的卷积神经网络（Convolutional Neural Network,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型。使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制（Attention）提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更好,可以有效提高文本分类的效果。     

基于多流CNN-LSTM网络的群体情绪识别

群体情绪识别是人机交互领域的前言课题,针对群体情绪识别准确率的问题,结合卷积神经网络（CNN）与长短期记忆网络（LSTM）,提出一种多流CNN-LSTM网络模型学习群体情绪的静态和动态特征。以视频序列的原始图像、视觉显著图形和叠加的光流图像分别作为三个通道的输入,利用CNN网络对空间特征和局部运动特征进行分析,得到的特征图直接输入LSTM网络,进行全局运动特征的学习。最后连接Softmax分类器,对三个通道的Softmax输出进行加权融合,得到分类结果。实验结果表明,本文模型可有效地识别4种典型的群体情绪,且识别率高于已有算法,准确度（ACC）和宏平均精度（MAP）分别最高可达82.6%、84.1%。     

基于LSTM-Attention与CNN混合模型的文本分类方法

针对传统长短时记忆网络（Long Short-Term Memory,LSTM）和卷积神经网络（Convolution Neural Network,CNN）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于LSTM-Attention与CNN混合模型的文本分类方法。使用CNN提取文本局部信息,进而整合出全文语义;用LSTM提取文本上下文特征,在LSTM之后加入注意力机制（Attention）提取输出信息的注意力分值;将LSTM-Attention的输出与CNN的输出进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于LSTM、CNN及其改进模型效果更好,可以有效提高文本分类的效果。     

增强二阶网络调制的目标跟踪

目的 表观模型对视觉目标跟踪的性能起着决定性的作用。基于网络调制的跟踪算法通过构建高效的子网络学习参考帧目标的表观信息,以用于测试帧目标的鲁棒匹配,在多个目标跟踪数据集上表现优异。但是,这类跟踪算法忽视了高阶信息对鲁棒建模物体表观的重要作用,致使在物体表观发生大尺度变化时易产生跟踪漂移。为此本文提出全局上下文信息增强的二阶池化调制子网络,以学习高阶特征提升跟踪器的性能。方法 首先,利用卷积神经网络（convolutional neural networks,CNN）提取参考帧和测试帧的特征;然后,对提取的特征采用不同方向的长短时记忆网络（long shot-term memory networks,LSTM）捕获每个像素的全局上下文信息,再经过二阶池化网络提取高阶信息;最后,通过调制机制引导测试帧学习最优交并比预测。同时,为提升跟踪器的稳定性,在线跟踪通过指数加权平均自适应更新物体表观特征。结果 实验结果表明,在OTB100（object tracking benchmark）数据集上,本文方法的成功率为67.9%,超越跟踪器ATOM （accurate tracking by overlap maximization）1.5%;在VOT （visual object tracking）2018数据集上平均期望重叠率（expected average overlap,EAO）为0.44,超越ATOM 4%。结论 本文通过构建全局上下文信息增强的二阶池化调制子网络来学习高效的表观模型,使跟踪器达到目前领先的性能。     

基于经验模态分解自回归组合模型的网络舆情预测

随着大数据时代的到来,网络舆情数据呈现信息量大和领域覆盖广等特征。面对复杂的网络舆情数据时,传统单一模型预测能力有限,不能对舆情趋势进行有效预测。针对此问题,提出一种基于经验模态分解-自回归（EMD-AR）改进的组合模型——EMD-ARXG模型,应用于复杂网络舆情的预测。该模型利用经验模态分解算法对时间序列进行分解,然后通过自回归模型对分解后的时间序列进行各自趋势拟合,建立子模型。最后再对各个子模型进行重构,完成建模。另外,在利用自回归（AR）模型拟合过程中,为了减少拟合误差,采用极限梯度提升算法对残差进行学习,并使预测模型迭代更新,提高各个子模型预测精度。为验证EMD-ARXG模型的预测效果,该模型与小波神经网络模型和基于经验模态分解的神经网络模型进行实验对比。实验结果表明,在均方根误差（RMSE）、平均绝对百分误差（MAPE）和希尔不等系数（TIC）三项指标上,EMD-ARXG模型获得的结果均优于小波神经网络模型和基于经验模态分解的神经网络模型的结果。     

基于长短时记忆网络的电商大数据同一性标定

政府采购平台上的电商大数据,由于商品种类繁多且书写格式无统一规范,采用传统模型在大数据中标定出同一种商品时准确率低、速度慢、样本利用率低、泛化能力不足.提出一种基于长短时记忆网络(LSTM)的同一性标定模型,该模型由分词、重要性排序和相似度计算3个子模型串联组成.分词子模型对电商大数据进行预处理,获得有区分度的关键词序列;LSTM重要性排序子模型筛选最能表征商品信息的重要关键词序列;LS T M相似度计算子模型在给定大数据中准确标定出同一种商品.另外还引入二分查找、GloVe词向量化和词序列语义校验技术,分别用于提高标定速度、训练样本利用率与标定泛化能力.实验结果表明,在处理不同品类的电商大数据时,所提模型对易混淆样本的同一性标定准确率高.     

基于LSSVR和LSTM的多模型优化集成负荷预测

针对负荷需求受多源因素影响和现有单模型预测方法精度较低的问题,提出了一种基于最小二乘支持向量回归(LSSVR)和长短期记忆循环神经网络(LSTM)的多模型优化集成负荷预测方法。首先探究负荷相关特征的特性并由互信息进行特征选择,获取最优特征集。在此基础上采用随机抽样(bootstrap)生成多个训练集,然后使用具有良好预测能力的LSSVR和LSTM模型对多个训练集分别进行预测。利用混沌粒子群优化算法(CPSO)进一步提高模型预测精度。最后,在决策阶段中使用偏最小二乘回归(PLSR)组合各个子模型的最优预测输出并提供最终预测结果。对真实电网数据进行了仿真,并与其它预测方法进行了比较。本文所提方法的应用范围广泛且预测精度提高显著。     

基于图注意力网络的方面级别文本情感分析

方面级别文本情感分析旨在分析文本中不同方面所对应的情感趋向。传统基于神经网络的深度学习模型在文本情感分析的过程中,大多直接使用注意力机制而忽略了句法关系的重要性,即不能充分利用方面节点的上下文语义信息,导致情感趋向预测效果不佳。针对该问题,设计一种融合句法信息的图注意力神经网络模型,并将其应用于文本情感分析任务。利用预训练模型BERT进行词嵌入得到初始词向量,将初始词向量输入双向门控循环神经网络以增强特征向量与上下文信息之间的融合,防止重要上下文语义信息丢失。通过融合句法信息的图注意力网络加强不同方面节点之间的交互,从而提升模型的特征学习能力。在SemEval-2014数据集上的实验结果表明,该模型能够充分利用句法信息进行情感分析,其准确率较LSTM及其变种模型至少提升3%,对Restaurant评论进行情感分类预测时准确率高达83.3%。     

基于MAC-LSTM的问题分类研究

针对问句文本通常较短、语义信息与词语共现信息不足等问题,提出一种多层级注意力卷积长短时记忆模型（multi-level attention convolution LSTM neural network,MAC-LSTM）的问题分类方法。相比基于词嵌入的深度学习模型,该方法使用疑问词注意力机制对问句中的疑问词特征重点关注。同时,使用注意力机制结合卷积神经网络与长短时记忆模型各自文本建模的优势,既能够并行方式提取词汇级特征,又能够学习更高级别的长距离依赖特征。实验表明,该方法较传统的机器学习方法和普通的卷积神经网络、长短时记忆模型有明显的效果提升。     

基于深度残差长短记忆网络交通流量预测算法

针对多步交通流量预测任务中时间空间特征提取效果不佳和预测未来时间交通流量精度低的问题,提出一种基于长短时记忆（LSTM）网络、卷积残差网络和注意力机制的融合模型。首先,利用一种基于编解码器的架构,通过在编解码器中加入LSTM网络来挖掘不同尺度的时间域特征;其次,构建基于注意力机制挤压激励（SE）模块的卷积残差网络嵌入到LSTM网络结构中,从而挖掘交通流量数据中的空间域特征;最后,将编码器中获得的隐状态下的信息输入到解码器中,实现高精度多步交通流量的预测。基于真实交通数据进行实验测试和分析,实验结果表明,相较于原始的基于图卷积的模型,所提模型在北京和纽约两个交通流量公开数据集上的均方根误差（RMSE）分别获得了1.622和0.08的下降。所提模型能够高效且精确地对交通流量作出预测。     

基于深度特征和Seq2Seq模型的网络态势预测方法

针对目前大多数的网络态势预测方法不能挖掘数据中的深度信息且需要手动提取与构造特征的问题,提出了深度特征网络态势预测方法DFS-Seq2Seq。首先将网络流、日志和系统事件等产生的数据进行清洗处理,使用深度特征融合算法自动合成深度关系特征,然后采用自动编码器对合成的特征进行提取,最后使用长短期记忆网络（LSTM）构建Seq2Seq模型对数据进行预测。通过设计缜密的实验在公开数据集Kent2016上对所提方法进行验证,结果显示在深度为2时与支持向量机（SVM）、贝叶斯、随机森林（RF）和LSTM这四种分类模型相比,其召回率分别提升了7.4%、11.5%、6.5%、3.0%。实验结果表明DFS-Seq2Seq可以在实际应用中有效地识别网络身份验证中的危险事件,对网络态势作出有效的预测。     

基于潜在特征选择性集成建模的二噁英排放浓度软测量

二噁英(Dioxin,DXN)是导致城市固废焚烧(Municipal solid waste incineration,MSWI)建厂存在"邻避现象"的主要原因之一.工业现场多采用离线化验手段检测DXN浓度,难以满足污染物减排控制的需求.针对上述问题,本文提出了基于潜在特征选择性集成(Selective ensembl...     

基于关键词生成的网格事件相似度并行计算

为实现在海量网格事件库中快速、准确地检索事件, 本文提出一种基于关键词生成的网格事件相似度并行计算方法. 该方法通过双向LSTM网络的编码器和单向LSTM网络的解码器构建指针生成网络生成事件关键词, 使用记忆网络作为指针生成网络的序列信息存储单元, 并将注意力机制用在输入序列上以将更重要的信息输入至解码器, 同时引入覆盖机制来解决生成重复文本问题. 在生成事件关键词后, 基于结构相似度和情境相似度计算事件总体相似度, 并利用GPU对LSTM网络和相似度计算进行加速. 实验结果表明: 相比基于机器学习的计算方法, 该方法在事件相似度计算性能上更好, 最高获得了4.04倍的加速比.