基于串并行卷积门阀循环神经网络的短文本特征提取与分类

针对短文本数据特征少、提供信息有限,以及传统卷积神经网络（convolutional neural network,CNN）和循环神经网络（recurrent neural network,RNN）对短文本特征表示不充分的问题,提出基于串并行卷积门阀循环神经网络的文本分类模型,处理句子特征表示与短文本分类。该网络在卷积层中去除池化操作,保留文本数据的时序结构和位置信息,以串并行的卷积结构提取词语的多元特征组合,并提取局部上下文信息作为RNN的输入;以门阀循环单元（gated recurrent unit,GRU）作为RNN的组成结构,利用文本的时序信息生成句子的向量表示,输入带有附加边缘距离的分类器中,引导网络学习出具有区分性的特征,实现短文本的分类。实验中采用TREC、MR、Subj短文本分类数据集进行测试,对网络超参数选择和卷积层结构对分类准确率的影响进行仿真分析,并与常见的文本分类模型进行了对比实验。实验结果表明：去掉池化操作、采用较小的卷积核进行串并行卷积,能够提升文本数据在多元特征表示下的分类准确率。相较于相同参数规模的GRU模型,所提出模型的分类准确率在3个数据集中分别提升了2.00%、1.23%、1.08%;相较于相同参数规模的CNN模型,所提出模型的分类准确率在3个数据集中分别提升了1.60%、1.57%、0.80%。与Text-CNN、G-Dropout、F-Dropout等常见模型相比,所提出模型的分类准确率也保持最优。因此,实验表明所提出模型可改善分类准确率,可实际应用于短文本分类场景。     

基于C-GRU的微博谣言事件检测方法

提出基于卷积-门控循环单元(convolution-gated recurrent unit, C-GRU)的微博谣言事件检测模型。结合卷积神经网络(convolutional neural networks, CNN)和门控循环单元(gated recurrent unit, GRU)的优点,将微博事件博文句向量化,通过CNN中的卷积层学习微博窗口的特征表示,将微博窗口特征按时间顺序拼接成窗口特征序列,将窗口特征序列输入GRU中学习序列特征表示进行谣言事件检测。在真实数据集上的试验结果表明,相比基于传统机器学习方法、CNN和GRU的谣言检测模型,该模型有更好的谣言识别能力。     

基于双注意力卷积神经网络模型的情感分析研究

卷积神经网络（Convolutional Neural Networks,CNN）无法判别输入文本中特征词与情感的相关性.因此提出一种双注意力机制的卷积神经网络模型（Double Attention Convolutional Neural Networks,DACNN）,将词特征与词性特征有效融合后得到本文的特征表示,确定情感倾向.本文提出局部注意力的卷积神经网络模型,改进卷积神经网络的特征提取能力,采用双通道的局部注意力卷积神经网络提取文本的词特征和词性特征.然后使用全局注意力为特征分配不同的权重,有选择地进行特征融合,最后得到文本的特征表示.将该模型在MR和SST-1数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.7%和1%的提升.     

基于深度学习的录音文本分类方法

为了提高具有关联工单数据的录音文本的分类精确率,根据录音文本及关联数据的特点,设计基于深度学习的录音文本分类方法. 针对录音文本,通过双向词嵌入语言模型（ELMo）获得录音文本及工单信息的向量化表示,基于获取的词向量,利用卷积神经网络（CNN）挖掘句子局部特征;使用CNN分别挖掘工单标题和工单的描述信息,将CNN输出的特征进行加权拼接后,输入双向门限循环单元（GRU）,捕捉句子上下文语义特征;引入注意力机制,对GRU隐藏层的输出状态赋予不同的权重. 实验结果表明,与已有算法相比,该分类方法的收敛速度快,具有更高的准确率.     

基于自适应卷积核的改进CNN数值型数据分类算法

针对卷积神经网络(Convolutional neural network,CNN)模型在对工业数值型数据分类方面存在特征使用不充分、模型分类性能不佳等问题,提出了一种基于自适应卷积核的改进CNN(Improved CNN based on adaptive convolution kernel, ACK-ICNN)算法。该算法为了增加特征的重复使用率,构建了一种多尺度卷积核的模型结构,通过融合处理卷积核提取的不同特征来实现,增强了模型的适应能力;为了进一步提升该算法的性能,利用网格搜索算法自适应选取CNN中最优的卷积核大小,使得模型能够提取出最优的特征。采用TE过程的故障数据对其进行测试,并与支持向量机、极限学习机、最近邻等典型的数据驱动方法进行对比,测试结果表明,该算法能有效提升各类故障的分类精度。     

基于CNN特征空间的微博多标签情感分类

面对微博情感评测任务中的多标签分类问题时,基于向量空间模型的传统文本特征表示方法难以提供有效的语义特征。词向量表示能体现词语的语法和语义关系,并依据语义合成原理构建句子的特征表示。本文提出一个针对微博句子的多标签情感分类系统,采用经过有监督情感分类学习后的卷积神经网络(Convolution Neural Network, CNN)模型,将词向量合成为微博句子的向量表示,使得此CNN特征空间中的句子向量具有很好的情感语义区分度。在2013年NLPCC(Natural Language Processing and Chinese Computing)会议的微博情感评测公开数据集上,相比最优评测结果的宽松指标和严格指标,本系统的最佳分类性能分别提升了19.16%和17.75%;相比目前已知文献中的最佳分类性能,则分别提升了3.66%和2.89%。     

采用注意力门控卷积网络模型的目标情感分析

针对传统目标情感分析采用循环神经网络模型导致训练时间长且其他替代模型未能使得上下文和目标词之间实现良好交互等问题,提出了一种用于目标情感分析的注意力门控卷积网络模型。该模型首先将上下文和目标词通过多头注意力机制加强上下文和目标词之间的交互;其次采用门控卷积机制进一步提取关于目标词的情感特征;最后通过Softmax分类器将情感特征进行分类,输出情感极性。实验结果显示,与循环神经网络模型中准确率最高的循环注意力网络模型相比,在SemEval 2014任务四的餐厅和笔记本电脑数据集上的准确率分别提高了1.29%和0.12%;与循环神经网络模型中收敛速度较快的基于注意力的长短期记忆网络模型相比,收敛时间下降了约29.17s。     

基于双向循环神经网络的字符级文本分类

针对传统的文本分类深度学习模型由于收敛速度慢或严重依赖于预先训练好的词向量,在大规模数据集上通常耗时较长,提出了一种结合卷积神经网络(CNN)、门控循环单元(GRU)和高速公路网络(HN)的字符级短文本分类模型,该模型具有快速收敛的捕获全局和局部文本语义的能力.此外,将误差最小化极值学习机(EM-ELM)引入到模型中,进一步提高了分类精度.实验表明,与现有方法相比,该方法在大规模文本数据集上取得了更好的性能.     

基于混合神经网络的中文短文本分类模型

针对已有算法中特征表示存在的稀疏问题以及文本高层特征提取效果不佳问题,提出了一种基于混合神经网络的中文短文本分类模型。该模型首先通过自定义筛选机制将文档以短语层和字符层进行特征词筛选;然后将卷积神经网络(CNN)和循环神经网络(RNN)相结合,提取文本高阶特征,并引入注意力机制优化高阶向量特征;最后将得到的高阶向量特征输入到全连接层得到分类结果。实验结果表明:该方法能有效提取出文档的短语层和字符层特征;与传统CNN、传统LSTM和CLSTM模型对比,二分类数据集上准确率分别提高10.36%、5.01%和2.39%,多分类数据集上准确率分别提高12.33%、4.16%和2.33%。     

基于卷积门控循环网络的齿轮箱故障诊断

为充分利用信号的时序相关性特征,增强模型对数据信息的全面挖掘能力,以进一步提高卷积神经网络(CNN)诊断精度,本文将CNN与善于处理数据时序相关性特征的门控循环单元(GRU)相结合,提出了一种新的齿轮箱故障诊断模型。CNN通过端对端的方式提取数据空间特征,并将提取的特征作为GRU的输入进一步提取时空特征,最后将GRU提取的时空特征作为SoftMax的输入进行故障识别。两组齿轮箱实验数据分析结果显示:平均故障诊断精度分别可达99.86%和99.85%,与其它现有模型的结果对比体现了本文模型的有效性和优越性。     

基于EEMD-CNN-GRU的短期风向预测

为了提高短期风向的预测精度,提出一种基于集合经验模态分解（Ensemble Empirical Mode Decomposition,EEMD）、卷积神经网络（Convolutional Neural Network,CNN）和门控循环单元网络（Gated Recurrent Unit,GRU）的混合模型：EEMD-CNN-GRU.针对风向序列的随机性和不平稳性等特点,先利用EEMD将数据分解成多个分量;再运用CNN的局部连接和权值共享来提取分量中的潜在特征;最后,使用GRU对CNN所提取的潜在特征进一步构建特征,叠加各分量的预测值,得到最终预测结果.实验结果表明：相对于BP神经网络和长短期记忆网络（Long Short-Term Memory,LSTM）等其他模型,本文所提出的预测方法取得了良好的性能.     

基于GA-CNN-LSTM模型的文本情感分析方法研究

为了克服传统神经网络不能学习文本长期信息的缺点和神经网络中梯度下降法容易陷入的局部最优问题,提出基于遗传算法(GA)、卷积神经网络(CNN)和长短期记忆神经网络(LSTM)相结合的文本情感分析模型GA-CNN-LSTM.具体来说,该模型首先利用卷积神经网络从全局信息中提取序列特征,之后使用长短期记忆神经网络分析句子的句法和语义结构,最后运用遗传算法从全局进行寻优,有效避免梯度下降法陷入的局部最优问题.在IMDB数据集上进行实验,结果表明,该模型相比于其他现有的网络模型,取得了更好的分类效果,精度比传统的长短期记忆神经网络提高了 1.8百分点,准确率达到了 0.906.     

用于目标情感分类的多跳注意力深度模型

文本情感分类是近年来自然语言处理领域的研究热点,旨在对文本蕴含的主观倾向进行分析,其中,基于特定目标的细粒度情感分类问题正受到越来越多的关注。在传统的深度模型中加入注意力机制,可以使分类性能显著提升。针对中文的语言特点,提出一种结合多跳注意力机制和卷积神经网络的深度模型（MHA-CNN）。该模型利用多维组合特征弥补一维特征注意力机制的不足,可以在没有任何先验知识的情况下,获取更深层次的目标情感特征信息。相对基于注意力机制的LSTM网络,该模型训练时间开销更小,并能保留特征的局部词序信息。最后在一个网络公开中文数据集（包含6类领域数据）上进行实验,取得了比普通深度网络模型、基于注意力机制的LSTM模型以及基于注意力机制的深度记忆网络模型更好的分类效果。     

水库水位的VMD-CNN-GRU混合预测模型

水库水位预测为其运营、防洪、水资源调度管理提供了重要决策支持.准确可靠的预测对水资源的优化管理起着至关重要的作用.针对水库水位数据的非线性、不稳定性以及复杂的时空特性,提出一种融合自适应变分模态分解(VMD)、卷积神经网络(CNN)和门控循环单元(GRU)的混合水库水位预测模型.VMD通过对水位序列进行分解消除噪声,CNN用于有效提取水位数据的局部特征,GRU用于提取水位数据的深层时间特征.以葠窝水库日水位为例,与多个相关模型对比分析,结果表明:精度方面,新模型在选取的评价指标上均表现最佳;运算效率方面,本文选择的GRU与长短时记忆网络(LSTM)相比,运算效率显著提高.新模型预测的高精度、高运算效率更能满足实际水库水位实时调度的需求.     

基于改进SVM的智能电网调控系统实时风险评估与预警技术

针对智能电网调控系统通信和数据安全难以保障的问题,提出了一种基于改进支持向量机(SVM)的智能电网调控系统实时风险评估与预警技术.采用卷积神经网络(CNN)改进SVM模型得到CNN-SVM分类模型,用以处理实时风险评估体系中的数据信息.通过将CNN输出的数据特征输入SVM分类器进行风险等级分类,完成对数据中可能出现的风险进行识别、评估定级及预警.仿真结果表明,所提技术能够对调控系统实时风险进行准确、可靠的评估与预警,且其分类准确率、召回率、F1分数的均值分别为92%、86%和90%,均优于对比方法并具有更优的可靠性.     

融合多特征和迭代扩张卷积的中文电子病历命名实体识别

针对中文电子病历命名实体识别过程中文本语义表示不充分、特征抽取效率低等缺陷,提出一种融合多特征和迭代扩张卷积的命名实体识别方法。该方法首先构建基于卷积神经网络(CNN)的字嵌入算法,将生成的字向量与词向量等外部特征信息融合后送入迭代扩张卷积神经网络(IDCNN)中进行特征抽取,引入注意力机制加强序列间依赖关系,最后通过CRF解码最优标签序列。该方法在CCKS2017中文电子病历数据集中取得了91.36%的F₁值,识别性能优于现有方法,同时验证了融合多特征的语义表示对中文实体识别有一定性能提升。     

基于CNN-ResNet-LSTM模型的城市短时交通流量预测算法

针对交通流量特性和外部因素对交通流量预测结果的影响,提出了一种对城市短时交通流量预测的模型CNN-ResNet-LSTM,将卷积神经网络（CNN）、残差神经单元（ResNet）和长短期记忆循环神经网络（LSTM）集成到一个端到端的网络框架.利用卷积神经网络来捕获城市区域间交通流量的局部空间特征,并在卷积神经网络中加入多个残差神经单元来加深网络深度,可提高预测的准确性;利用长短期记忆循环神经网络来捕获交通流量数据的时间特征;利用相应的权重将2个网络的输出结果融合,得到通过轨迹数据预测的结果;最后与外部因素融合,得到城市区域的交通流量预测值.用北京市轨迹交通数据对该模型进行验证,CNN-ResNet-LSTM模型不仅在准确率方面比传统模型高,而且在保证预测准确率的情况下,模型使用的参数也少.     

基于Attention机制的CNN-GRU配网线路重过载短期预测方法

随着用户用电需求增加,迎峰度夏期间配网线路重过载较严重,为电网运行增加安全隐患。实现配网线路重过载短期预测,对合理安排负荷高峰时期运行方式和调度管理以及线路的安全运行具有重要意义。文中提出一种基于注意力（Attention）机制的卷积神经网络（CNN）—门限循环单元神经网络（GRU）组合预测模型。结合高相关性时间段的历史线路负载率数据和气象因素作为输入特征,利用CNN处理多源数据并提取有效特征作为GRU的输入,再通过GRU对时序特征集进行分析预测,利用Attention机制对重要数据分配更多的注意力权重,实现配网线路负载率的回归预测,最后根据负载等级划分标准将负载率预测结果转化为负载等级。使用所提方法对上海市某区某10 kV线路数据进行实验。实验结果表明,该预测方法比相同模型结构但以负载等级为输入的重过载分类预测,更适用于配网线路重过载预测。     

基于CNN-BiLSTM网络引入注意力模型的文本情感分析

为了解决单一卷积神经网络（CNN）缺乏利用文本上下文信息的能力和简单循环神经网络（RNN）无法解决长时依赖的问题,提出CNN-BiLSTM网络引入注意力模型的文本情感分析方法。首先利用CNN的特征强学习能力提取局部特征,再利用双向长短时记忆网络（BiLSTM）提取上下文相关特征的能力进行深度学习,最后,增加注意力层获取重要特征,使模型提取到有效的特征。在IMDB数据集上Accuracy值和均方根误差（RMSE）值分别达到90.34%和0.296 7,在Twitter数据集上Accuracy值和RMSE值分别达到76.90%、0.417 4,且模型时间代价小。结果表明,本文提出的模型有效提升了文本分类的准确率。     

运用CNN-LSTM混合模型的短文本分类

针对分类短文本时卷积神经网络(CNN)只提取局部特征和长短时记忆网络(LSTM)学习计算量大、处理时间长且随着短文本文字量增加与上下文的联系会减弱的问题,给出了基于CNN-LSTM混合模型算法.该算法融合CNN对短文本的特征提取能力,降低了文本数据量;利用LSTM的记忆能力,充分学习短文本的全局特征,进而对短文本进行更加有效地分类.实验结果表明,CNN-LSTM混合模型对短文本的分类效果远远好于CNN模型和LSTM模型.