基于极性转移和LSTM递归网络的情感分析

长短时记忆(long short term memory,LSTM)是一种有效的链式循环神经网络(recurrent neural network,R²NN^①),被广泛用于语言模型、机器翻译、语音识别等领域。但由于该网络结构是一种链式结构,不能有效表征语言的结构层次信息,该文将LSTM扩展到基于树结构的递归神经网络(Recursive Neural Network,RNN)上,用于捕获文本更深层次的语义语法信息,并根据句子前后词语间的关联性引入情感极性转移模型。实验证明本文提出的模型优于LSTM、递归神经网络等。
     

基于卷积注意力机制的情感分类方法

为提取文本的局部最优情感极性、捕捉文本情感极性转移的语义信息,提出一种基于卷积注意力机制的神经网络模型(CNN_attention_LSTM)。使用卷积操作提取文本注意力信号,将其加权融合到Word-Embedding文本分布式表示矩阵中,突出文本关注重点的情感词与转折词,使用长短记忆网络LSTM来捕捉文本前后情感语义关系,采用softmax线性函数实现情感分类。在4个数据集上进行的实验结果表明,在具有情感转折词的文本中,该模型能够更精准捕捉文本情感倾向,提高分类精度。     

嵌入常识的混合注意力LSTM用于主题情感分析

传统神经网络模型在捕捉上下文信息时,缺乏对于某一主题重要线索的准确分析能力。对此提出嵌入常识知识库的混合注意力长短时记忆网络(LSTM)主题情感分析模型。通过引入全局注意力和位置注意力机制来改进长短时记忆网络LSTM;将常识知识库嵌入到LSTM的情感分类训练中。该模型在推断特定主题的情感极性时明确地抓住了每个上下文词的重要性,使分类更加准确。实验结果表明,混合注意力模型与常识知识库的引入,提高了主题情感分析的分类效果。     

短文本分类的ResLCNN模型

短文本分类是互联网文本数据处理中的关键任务之一.长短时记忆网络LSTM（long short-term memory）和卷积神经网络CNN（convolutional neural network）是广泛应用于短文本分类任务的两种深度学习模型.在计算机视觉和语音识别领域的深度学习研究表明,深层次的神经网络模型具有较好的表达数据特征的能力.受此启发,面向文本深度学习分类问题,提出基于3层LSTM和CNN网络结构的ResLCNN（residual-LSTM-CNN）深度学习模型.该模型有效结合LSTM获取文本序列数据的长距离依赖特征和CNN通过卷积操作获取句子局部特征的优势,同时借鉴残差模型理论,在第1层LSTM层与CNN层之间加入恒等映射,构建残差层,缓解深层模型梯度消失问题.为了探究深层短文本分类中ResLCNN模型的文本分类能力,在多种数据集上将其与LSTM、CNN及其组合模型进行对比实验.结果表明,相比于单层LSTM与CNN组合模型,ResLCNN深层模型在MR、SST-2和SST-5数据集上分别提高了1.0%、0.5%、0.47%的准确率,取得了更好的分类效果.     

融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型

针对传统的基于注意力机制的神经网络模型不能对方面特征和情感信息进行有效关注，以及不同距离或不同方向的上下文词对方面词的情感极性判断有不同的贡献等问题，提出一种融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型（LWAOA-LSTM）。首先，为词向量加入位置权重信息；然后，使用长短期记忆（LSTM）网络同时对方面和句子进行建模以生成方面表示和句子表示，同时通过注意力交叉注意力模块共同学习方面和句子的表示以获得方面到文本和文本到方面的交互关注，并自动关注句子中的重要部分；最后，在景点、餐饮、住宿不同主题数据集上进行实验，验证了该模型对方面情感分析的准确性。实验结果表明，所提模型在景点、餐饮、住宿主题数据集上的准确率分别达到78.3%、80.6%和82.1%，取得了比传统LSTM网络模型更好的效果。     

基于字符级循环网络的查询意图识别模型

以特征模板为主的查询意图识别方法存在人工抽取特征繁琐,并且难以捕捉文本语义信息的问题。为此,基于字符级循环网络,提出一种新的查询意图识别模型。为能有效提取句子深层次语义特征,减少长距离信息依赖的限制,使用长短时记忆网络(LSTM)作为神经网络线性变换层,同时增加一层反向LSTM抽取字符的将来信息特征。使用原始汉字直接作为模型的输入,避免分词结果不准确带来的错误传导问题,利用字符的分布向量表示方法,提高句子语义特征的获取。实验结果表明,该方法整体准确率达到90.7%,相比特征模板方法有所提升,能提高用户查询意图的分类性能。     

一种基于自注意力的句子情感分类方法

注意力机制近年来在多个自然语言任务中得到广泛应用,但在句子级别的情感分类任务中仍缺乏相应的研究。文中利用自注意力在学习句子中重要局部特征方面的优势,结合长短期记忆网络(Long Short-Term Model,LSTM),提出了一种基于注意力机制的神经网络模型(Attentional LSTM,AttLSTM),并将其应用于句子的情感分类。AttLSTM首先通过LSTM学习句子中词的上文信息;接着利用自注意力函数从句子中学习词的位置信息,并构造相应的位置权重向量矩阵;然后通过加权平均得到句子的最终语义表示;最后利用多层感知器进行分类和输出。实验结果表明,AttLSTM在公开的二元情感分类语料库Movie Reviews(MR),Stanford Sentiment Treebank(SSTb2)和Internet Movie Database(IMDB)上的准确率最高,分别为82.8%,88.3%和91.3%;在多元情感分类语料库SSTb5上取得50.6%的准确率。     

基于图卷积网络的特定方面情感分析

方面级情感分析是细粒度情感分析的一个基本子任务,旨在预测文本中给定方面或实体的情感极性。语义信息、句法信息及其交互信息对于方面级情感分析是极其重要的。该文提出一种基于图卷积和注意力的网络模型(CA-GCN)。该模型主要分为两部分,一是将卷积神经网络结合双向LSTM获取的丰富特征表示与图卷积神经网络掩码得到的方面特征表示进行融合;二是采用两个多头交互注意力融合方面、上下文和经图卷积神经网络得到的特征信息,而后接入多头自注意力来学习信息交互后句子内部的词依赖关系。与ASGCN模型相比,该模型在三个基准数据集(Twitter、Lap14和Rest14)上准确率分别提升1.06%、1.62%和0.95%,F₁值分别提升1.07%、2.60%和1.98%。     

基于多注意力长短时记忆的实体属性情感分析

属性情感分析是细粒度的情感分类任务。针对传统神经网络模型无法准确构建属性情感特征的问题，提出了一种融合多注意力和属性上下文的长短时记忆（LSTM-MATT-AC）神经网络模型。在双向长短时记忆（LSTM）的不同位置加入不同类型的注意力机制，充分利用多注意力机制的优势，让模型能够从不同的角度关注句子中特定属性的情感信息，弥补了单一注意力机制的不足；同时，融合双向LSTM独立编码的属性上下文语义信息，获取更深层次的情感特征，有效识别特定属性的情感极性；最后在SemEval2014 Task4和Twitter数据集上进行实验，验证了不同注意力机制和独立上下文处理方式对属性情感分析模型的有效性。实验结果表明，模型在Restaurant、Laptop和Twitter领域数据集上的准确率分别达到了80.6%、75.1%和71.1%，较之前基于神经网络的情感分析模型在准确率上有了进一步的提高。     

基于句法结构树和混合注意力网络的方面级情感分类

在目前方面级别情感分类的研究方法中,大部分是基于循环神经网络或单层注意力机制等方法,忽略了位置信息对于特定方面词情感极性的影响,并且此类方法编码语句和方面词时直接采用了拼接或者相乘的方式,导致处理长句子时可能会丢失信息以及无法捕获深层次情感特征。为了解决上述问题,该文提出了基于句法结构树和混合注意力网络的模型,其基本思想是将基于句法结构树构建的位置向量作为辅助信息,并提出混合注意力网络模型来提取句子在给定方面词下的情感极性。所以该文设计了浅层和深层网络,并分别构建位置注意力机制和交互型多头注意力机制获取句子中和方面词相关的语义信息。实验结果表明：大多数情况下,该模型在SemEval 2014公开数据集中的Restaurant和Laptop以及ACL14 Twitter上的表现优于相关基线模型,可以有效地识别不同方面的情感极性。     

上下文感知与层级注意力网络的文档分类方法

文档分类是自然语言处理(NLP)领域中的一个基本问题.近年来,尽管针对这一问题的层级注意力网络已经取得了进展,但由于每条句子被独立编码,使得模型中使用的双向编码器仅能考虑到所编码句子的相邻句子,仍然集中于当前所编码的句子,并没有有效地将文档结构知识整合到体系结构中.针对此问题,提出一种上下文感知与层级注意力网络的文档分...     

基于MAC-LSTM的问题分类研究

针对问句文本通常较短、语义信息与词语共现信息不足等问题,提出一种多层级注意力卷积长短时记忆模型（multi-level attention convolution LSTM neural network,MAC-LSTM）的问题分类方法。相比基于词嵌入的深度学习模型,该方法使用疑问词注意力机制对问句中的疑问词特征重点关注。同时,使用注意力机制结合卷积神经网络与长短时记忆模型各自文本建模的优势,既能够并行方式提取词汇级特征,又能够学习更高级别的长距离依赖特征。实验表明,该方法较传统的机器学习方法和普通的卷积神经网络、长短时记忆模型有明显的效果提升。     

基于BLSTM-Attention神经网络模型的化工事故分类

化工事故新闻数据包含新闻内容,标题以及新闻来源等方面信息,新闻内容的文本对上下文具有较强的依赖性.为了更准确地提取文本特征并提高化工事故分类的准确性,该文提出了一种基于Attention机制的双向LSTM （BLSTM-Attention）神经网络模型对化工新闻文本进行特征提取并实现文本分类.BLSTM-Attention神经网络模型能够结合文本上下文语义信息,通过正向和反向的角度来提取事故新闻的文本特征;考虑到事故新闻中不同词对文本的贡献不大相同,加入Attention机制对不同词和句子分配不同权重.最后,将该文提出的分类方法与Naive-Bayes、CNN、RNN、BLSTM分类方法在相同的化工事故新闻数据集上进行实验对比.实验结果表明：该文提出的神经网络模型BLSTM-Attention神在化工数据集上的效果更优于其他分类方法模型.     

基于特征融合的文本情感分类

虽然卷积神经网络（CNN）可以提取局部特征,长短期记忆网络（LSTM）可以提取全局特征,它们都表现出了较 好的分类效果,但CNN在获取文本的上下文全局信息方面有些不足,而LSTM容易忽略词语之间隐含的特征信息。因此,提 出了用CNN_BiLSTM_Attention 并行模型进行文本情感分类。首先,使用CNN提取局部特征,同时BiLSTM提取带有上下文 语义信息的全局特征,之后将两者提取的特征拼接在一起,进行特征融合。这样使得模型既能捕获局部短语级特征,又能捕获 上下文结构信息,并对特征词的重要程度,利用注意力机制分配不同权重,进而提高模型的分类效果。通过与单一模型CNN、 LSTM等深度神经网络模型的对比,本文所提的CNN_BiLSTM_Attention并行模型在综合评价指标F1 score 和准确率上都有 提升,实验结果表明,本文所提模型在文本情感分类任务中取得了较好的结果,比其他神经网络模型有更好的实用价值。     

基于CNN-LSTM的短期风电功率预测

短期风电功率预测对电力系统的安全稳定运行和能源的优化配置具有重要意义。鉴于卷积神经网络(CNN)高效的数据特征提取能力,以及长短期记忆网络(LSTM)描述时间序列长期依赖关系的能力。为了提高短期风电功率预测的精度,设计了一种基于CNN和LSTM的风电功率预测模型。该模型利用卷积神经网络对风电功率、风速、风向数据进行多层卷积和池化堆叠计算,提取风电功率相关数据的特征图谱。为了描述风电功率序列的时序依从关系,将图谱特征信息作为长短期记忆网络的输入信息,计算得到风电功率的预测结果。采用西班牙某风电场的实测数据进行模型预测精度验证。结果表明,该模型较LSTM、Elman模型具有更好的预测性能。     

LSTM逐层多目标优化及多层概率融合的图像描述

使用计算模型对图像进行自动描述属于视觉高层理解，要求模型不仅能够对图像中的目标及场景进行描述，而且能够对目标与目标之间、目标与场景之间的关系进行表达，同时能够生成符合一定语法和结构的自然语言句子.目前基于深度卷积神经网络（Convolutional neural network，CNN）和长短时记忆网络（Long-short term memory，LSTM）的方法已成为解决该问题的主流，虽然已取得巨大进展，但存在LSTM层次不深，难以优化的问题，导致模型性能难以提升，生成的描述句子质量不高.针对这一问题，受深度学习思想的启发，本文设计了基于逐层优化的多目标优化及多层概率融合的LSTM（Multi-objective layer-wise optimization/multi-layer probability fusion LSTM，MLO/MLPF-LSTM）模型.模型中首先使用浅层LSTM进行训练，收敛之后，保留原LSTM模型中的分类层及目标函数，并添加新的LSTM层及目标函数重新对模型进行训练，对模型原有参数进行微调；在测试时，将多个分类层使用Softmax函数进行变换，得到每层对单词的预测概率分值，然后将多层的概率分值进行加权融合，得到单词的最终预测概率.在MSCOCO和Flickr30K两个数据集上实验结果显示，该模型性能显著，在多个统计指标上均超过了同类其他方法.     

Forecasting building energy consumption: Adaptive long-short term memory neural networks driven by genetic algorithm

The real-world building can be regarded as a comprehensive energy engineering system; its actual energy consumption depends on complex affecting factors, including various weather data and time signature. Accurate energy consumption forecasting and effective energy system management play an essential part in improving building energy efficiency. The multi-source weather profile and energy consumption data could enable integrating data-driven models and evolutionary algorithms to achieve higher forecasting accuracy and robustness. The proposed building energy consumption forecasting system consists of three layers: data acquisition and storage layer, data pre-processing layer and data analytics layer. The core part of the data analytics layer is a hybrid genetic algorithm (GA) and long-short term memory (LSTM) neural network model for accurate and robust energy prediction. LSTM neural network is adopted to capture the interrelationship between energy consumption data and time. GA is adopted to select the optimal architecture for LSTM neural networks to improve its forecasting accuracy and robustness. The hyper-parameters for determining LSTM architecture include the number of LSTM layers, number of neurons in each LSTM layer, dropping rate of each LSTM layer and network learning rate. Meanwhile, the effects of historical weather profile and time horizon of past information are also investigated. Two real-life educational buildings are adopted to test the performance of the proposed building energy consumption forecasting system. Experiments reveal that the proposed adaptive LSTM neural network performs better than the existing feedforward neural network and LSTM-based prediction models in accuracy and robustness. It also outperforms those LSTM networks whose hyper-parameters are determined by grid search, Bayesian optimisation and PSO. Such accurate energy consumption prediction can play an essential role in various areas, including daily building energy management, decision making of facility managers, building information model designs, net-zero energy operation, climate change mitigation and circular economy.     

面向限价指令簿趋势分析的网络集成模型

为了更好地分析限价指令簿(LOBs)的趋势,文中提出面向LOBs趋势分析的网络集成模型(NEM-LOB).模型融合2个长短期记忆(LSTM)子模型和1个卷积神经网络(CNN)子模型.一个LSTM子模型可通过LOBs的分布信息捕捉全局时间依赖性,另一个LSTM子模型可通过LOBs和订单流的动态信息捕捉全局动态性.CNN子模型通过LOBs的事实信息提取局部特征.最后,结合3个子模型,提取特征以获得预测结果.在FI-2010数据集上的实验表明NEM-LOB通过引入订单流信息,能对LOBs进行更好的趋势分析.