基于短距空间光谱并行双向RNN的高光谱农业图像分类

提出一种新的短距空间并行双向RNN算法(shorten spatial-spectral parallel bidirectional RNN,St-SS-pBRNN)用于高光谱农业图像分类,通过组合多个卷积层实现了频谱和空间特征的同时利用,提升了图像的分类效果. 采用并行门控循环单元(gate recurrent unit,GRU)和双向RNN的组合架构,缩短了RNN的序列长度,大幅减少了模型的计算量. 在农业高光谱图像分类对比实验中,算法性能稳定,准确率比经典的短距空间并行GRU算法(shorten spatial-spectral parallel GRU,St-SS-pGRU)最优效果提升大于2%,相关模型有望在国内大范围的农业用地分类中得以推广应用.     

基于卷积门控循环网络的齿轮箱故障诊断

为充分利用信号的时序相关性特征,增强模型对数据信息的全面挖掘能力,以进一步提高卷积神经网络(CNN)诊断精度,本文将CNN与善于处理数据时序相关性特征的门控循环单元(GRU)相结合,提出了一种新的齿轮箱故障诊断模型。CNN通过端对端的方式提取数据空间特征,并将提取的特征作为GRU的输入进一步提取时空特征,最后将GRU提取的时空特征作为SoftMax的输入进行故障识别。两组齿轮箱实验数据分析结果显示:平均故障诊断精度分别可达99.86%和99.85%,与其它现有模型的结果对比体现了本文模型的有效性和优越性。     

基于串并行卷积门阀循环神经网络的短文本特征提取与分类

针对短文本数据特征少、提供信息有限,以及传统卷积神经网络（convolutional neural network,CNN）和循环神经网络（recurrent neural network,RNN）对短文本特征表示不充分的问题,提出基于串并行卷积门阀循环神经网络的文本分类模型,处理句子特征表示与短文本分类。该网络在卷积层中去除池化操作,保留文本数据的时序结构和位置信息,以串并行的卷积结构提取词语的多元特征组合,并提取局部上下文信息作为RNN的输入;以门阀循环单元（gated recurrent unit,GRU）作为RNN的组成结构,利用文本的时序信息生成句子的向量表示,输入带有附加边缘距离的分类器中,引导网络学习出具有区分性的特征,实现短文本的分类。实验中采用TREC、MR、Subj短文本分类数据集进行测试,对网络超参数选择和卷积层结构对分类准确率的影响进行仿真分析,并与常见的文本分类模型进行了对比实验。实验结果表明：去掉池化操作、采用较小的卷积核进行串并行卷积,能够提升文本数据在多元特征表示下的分类准确率。相较于相同参数规模的GRU模型,所提出模型的分类准确率在3个数据集中分别提升了2.00%、1.23%、1.08%;相较于相同参数规模的CNN模型,所提出模型的分类准确率在3个数据集中分别提升了1.60%、1.57%、0.80%。与Text-CNN、G-Dropout、F-Dropout等常见模型相比,所提出模型的分类准确率也保持最优。因此,实验表明所提出模型可改善分类准确率,可实际应用于短文本分类场景。     

基于MGU的大规模IP骨干网络实时流量预测

为克服长短时记忆网络(long short-term memory, LSTM)计算成本相当大的弊端,提出基于最小门控单元(minimal gated unit, MGU)的大规模IP骨干网络实时流量预测方法。试验结果表明,与基于LSTM的流量预测方法相比,该方法以较少的模型训练时间获得了相当甚至略优的流量预测性能,在流量预测精度和实时性方面也优于已有的前馈神经网络(feed forward neural network, FFNN)和门控循环单元神经网络(gated recurrent unit, GRU)方法。     

基于特征工程的XGboost风速短期预测

为了解决现有风速预测模型精度不足以及数据利用度不高的问题,实现更高精度更快速度的风速短期预测,提出了一种基于特征工程的极限梯度提升算法(eXtreme Gradient boosting, XGboost)风速预测模型。XGboost算法是一种boosting集成学习算法,具有精度高速度快的特点。所提方法通过提取风速序列的5个统计特征,并与原始风速序列进行结合获得新的模型训练输入集,从而实现数据的充分利用,并采用XGboost算法对新输入集进行风速预测,提高了模型的预测精度。以江阴市某风电场实测风速数据进行预测,预测结果表明：基于时间-特征序列的XGboost风速预测模型具有精确的预测结果与快速的训练速度,与长短期记忆网络(long short-term memory,LSTM)、门控循环单元（gated recurrent unit,GRU)、卷积神经网络-长短期记忆网络（convolutional neural networkslong short-term memory,CNN-LSTM)及轻梯度提升机（light gradient boosting machine,LightG...     

基于粒子群算法优化参数的VMD-GRU短期电力负荷预测模型

为了更有效提取电力负荷数据中的特征信息，从原始含噪声较多的负荷序列中提取包含丰富特征信息的信号分量，提高电力负荷预测精度。针对变分模态分解(variational mode decomposition, VMD)参数设定经验与主观性较强，提出一种基于粒子群算法(particle swarm algorithm, PSO)优化参数的变分模态分解和门控循环单元(gated recurrent unit, GRU)的组合模型短期电力负荷预测方法，先通过粒子群算法对VMD最佳影响参数组合进行搜寻，得到最佳效果的分解子序列，减少不同趋势信息对预测精度影响。然后运用GRU网络，针对各子序列分量建立基于GRU的预测模型。最后叠加各子序列预测结果得到短期电力负荷的最终预测值。实验结果表明，相对于相对于BP神经网络(Back Propagation Neural Network)、支持向量机(support vector machine, SVM)、GRU模型和EMD-GRU模型以及未经优化VMD-GRU模型，此模型具有更高的负荷预测精度。     

基于EEMD-CNN-GRU的短期风向预测

为了提高短期风向的预测精度,提出一种基于集合经验模态分解（Ensemble Empirical Mode Decomposition,EEMD）、卷积神经网络（Convolutional Neural Network,CNN）和门控循环单元网络（Gated Recurrent Unit,GRU）的混合模型：EEMD-CNN-GRU.针对风向序列的随机性和不平稳性等特点,先利用EEMD将数据分解成多个分量;再运用CNN的局部连接和权值共享来提取分量中的潜在特征;最后,使用GRU对CNN所提取的潜在特征进一步构建特征,叠加各分量的预测值,得到最终预测结果.实验结果表明：相对于BP神经网络和长短期记忆网络（Long Short-Term Memory,LSTM）等其他模型,本文所提出的预测方法取得了良好的性能.     

基于门控循环单元与主动学习的协同过滤推荐算法

针对传统协同过滤推荐算法存在无法反映用户短时兴趣的问题,提出一种基于门控循环单元(gated recurrent unit, GRU)神经网络与主动学习的协同过滤推荐算法。在采用GRU神经网络的基础上,将数据进行时序化处理,反映用户兴趣变化,并利用主动学习动态采样数据中的高质量的数据进行GRU神经网络的训练,使模型快速建立。在MovieLens1M数据集上的试验结果表明:加入主动学习的GRU模型的推荐算法比基于用户的协同过滤推荐算法(user-based collaborative filtering, UCF)、基于马尔科夫模型的协同过滤推荐算法(markov chain, MC)、基于隐语义模型的协同过滤推荐算法(latent factor model, LFM)算法有更高的短时预测率、召回率、项目覆盖率以及用户覆盖数,能够有效预测用户短时兴趣,提升精度,发掘长尾物品,且与原始GRU模型相比能够以更少的迭代次数达到相同效果。     

基于PCC-GRU-Attention组合风电功率超短期预测

由于风电出力具有随机性、波动性的特点,风电功率预测技术的研究对电力系统的安全稳定运行具有重要意义。提出一种基于PCC-GRU-Attention组合风电功率超短期预测方法,首先使用皮尔逊相关系数(pearson correlation coefficient, PCC)对数据预处理,选出高度相关性的特征作为输入,针对长短期记忆(long short term memory, LSTM)网络与门控循环单元(gated recurrent unite, GRU)网络处理长时序列易丢失序列信息的问题,通过GRU网络处理时间序列信息以及注意力(Attention)机制优化输出权重,与单一LSTM网络和GRU网络以及其它组合模型相比,有效提高了预测精度。     

基于时间模式注意力机制的CNN-BiGRU短期负荷预测

准确的短期负荷预测可以缓解电力供需矛盾，协调负荷管理，保障电力系统安全。短期电力负荷具有很强的非线性和时间依赖性，并与气候变化和实时电价等诸多外部因素有关，给精准预测短期负荷带来了困难。为此，提出一种基于时间模式注意力(temporal pattern attention, TPA)机制的卷积神经网络(convolutional neural network, CNN)-双向门控循环单元(bidirectional gated recurrent unit, BiGRU)短期负荷预测方法。其中，卷积神经网络用于挖掘不同输入变量与当前负荷间的非线性空间联系，双向门控循环单元用于从时间序列中捕获长期依赖关系，时间模式注意力机制引入以自适应加权赋予特征权重，突出重要信息，实现短期负荷预测。以澳大利亚公开负荷数据集作为实例验证所提方法的效果，预测精度达到了97.651%,与CNN-LSTM、RNN预测模型进行对比，精度分别提高了0.531%和5.992%,实验结果表明：所提的TPA-CNN-BiGRU预测方法具有更高的预测精度和普适性。     

基于图卷积网络的归纳式微博谣言检测新方法

为了解决传统图卷积神经网络在进行谣言检测时面临的未充分考虑单词语义信息以及池化方法选择困难的问题,提出基于图卷积网络(GCN)的归纳式微博谣言检测新方法. 考虑单词之间的语义关系,结合传统词共现建图方法提出基于词语义相关性的微博事件建图方法,并结合图卷积网络和门循环单元(GRU)实现节点信息聚合;为了有效融合不同节点状态的特征信息,提出基于注意力机制的多池化方法融合策略融合最大池、平均池和全局池以获取最终的图级向量;为了提高微博谣言检测效率,探究微博评论时间对检测结果的影响,获得用于模型训练的最佳评论利用时间阈值. 实验结果表明,本研究方法在给定数据集上的表现普遍优于Text-CNN、Bi-GCN、TextING等典型方法,验证了其在微博谣言检测领域的有效性.     

基于深度学习的录音文本分类方法

为了提高具有关联工单数据的录音文本的分类精确率,根据录音文本及关联数据的特点,设计基于深度学习的录音文本分类方法. 针对录音文本,通过双向词嵌入语言模型（ELMo）获得录音文本及工单信息的向量化表示,基于获取的词向量,利用卷积神经网络（CNN）挖掘句子局部特征;使用CNN分别挖掘工单标题和工单的描述信息,将CNN输出的特征进行加权拼接后,输入双向门限循环单元（GRU）,捕捉句子上下文语义特征;引入注意力机制,对GRU隐藏层的输出状态赋予不同的权重. 实验结果表明,与已有算法相比,该分类方法的收敛速度快,具有更高的准确率.     

用于心律失常识别的LSTM和CNN并行组合模型

心脏病是导致人类死亡的首要原因,而大部分心血管疾病往往伴随着心律失常出现.为实现对不同类型心电图信号的自动分析、识别异常心律,研究并提出了一种基于深度学习的心拍分类算法.考虑到心电图自身的特性,使用长短时记忆网络来捕捉心电序列数据的前后依赖关系,结合卷积神经网络提取局部相关特征,自动识别5种不同类型的心拍.基于LSTM和CNN的深度学习方法将经过预处理的心电信号后直接作为网络的输入,将心电分类的特征提取、分类两个步骤融合为单个学习器.针对类别数据不平衡问题,通过对少数类样本滑窗采样获得更多训练数据.使用MIT-BIH数据集验证模型的有效性,最终在测试集2万多个心拍记录中分类结果准确率达到99.11%,特异性为99.44%,灵敏度为97.27%,此外滑窗采样操作对少数类样本的灵敏度有明显改善.实验结果表明,相比传统的SVM和随机森林等方法,基于LSTM和CNN的并行组合模型不需要人工提取复杂特征,且达到了更好的分类性能,适合用于可穿戴式心电设备和远程监护领域.     

基于CNN特征空间的微博多标签情感分类

面对微博情感评测任务中的多标签分类问题时,基于向量空间模型的传统文本特征表示方法难以提供有效的语义特征。词向量表示能体现词语的语法和语义关系,并依据语义合成原理构建句子的特征表示。本文提出一个针对微博句子的多标签情感分类系统,采用经过有监督情感分类学习后的卷积神经网络(Convolution Neural Network, CNN)模型,将词向量合成为微博句子的向量表示,使得此CNN特征空间中的句子向量具有很好的情感语义区分度。在2013年NLPCC(Natural Language Processing and Chinese Computing)会议的微博情感评测公开数据集上,相比最优评测结果的宽松指标和严格指标,本系统的最佳分类性能分别提升了19.16%和17.75%;相比目前已知文献中的最佳分类性能,则分别提升了3.66%和2.89%。     

基于卷积神经网络的链接表示及预测方法

针对节点全局表示和链接局部拓扑关系,提出链接序列化表示及卷积神经网络（CNN）提取序列特征的链接预测方法.研究节点间的局部拓扑及共邻关系,基于共邻紧密度构建链接局部拓扑的有序节点序列,并用node2vec节点向量表达生成潜在链接的矩阵表示;基于CNN建立链接预测的分类模型,采用CNN可变滤波器窗口卷积运算提取序列中共邻与节点对的多层隐含关系,分类训练实现链接的有效预测.在4种大规模网络数据集上的实验结果表明,相比已有方法,该方法的AUC值有显著提高,最高达12.4%,稳定性及普适性较强,解决了传统方法对大规模稀疏网络的预测准确率下降问题.     

水库水位的VMD-CNN-GRU混合预测模型

水库水位预测为其运营、防洪、水资源调度管理提供了重要决策支持.准确可靠的预测对水资源的优化管理起着至关重要的作用.针对水库水位数据的非线性、不稳定性以及复杂的时空特性,提出一种融合自适应变分模态分解(VMD)、卷积神经网络(CNN)和门控循环单元(GRU)的混合水库水位预测模型.VMD通过对水位序列进行分解消除噪声,CNN用于有效提取水位数据的局部特征,GRU用于提取水位数据的深层时间特征.以葠窝水库日水位为例,与多个相关模型对比分析,结果表明:精度方面,新模型在选取的评价指标上均表现最佳;运算效率方面,本文选择的GRU与长短时记忆网络(LSTM)相比,运算效率显著提高.新模型预测的高精度、高运算效率更能满足实际水库水位实时调度的需求.     

Object Recognition Algorithm Based on an Improved Convolutional Neural Network

In order to accomplish the task of object recognition in natural scenes, a new object recognition algorithm based on an improved convolutional neural network (CNN) is proposed. First, candidate object windows are extracted from the original image. Then, candidate object windows are input into the improved CNN model to obtain deep features. Finally, the deep features are input into the Softmax and the confidence scores of classes are obtained. The candidate object window with the highest confidence score is selected as the object recognition result. Based on AlexNet, Inception V1 is introduced into the improved CNN and the fully connected layer is replaced by the average pooling layer, which widens the network and deepens the network at the same time. Experimental results show that the improved object recognition algorithm can obtain better recognition results in multiple natural scene images, and has a higher degree of accuracy than the classical algorithms in the field of object recognition.     

符号序列的LDA主题特征表示方法

针对现有序列挖掘算法特征维度高、学习算法时间复杂度高等方面的不足,提出一种主题特征表示法,将符号序列转换为一组表示多个主题呈现度的概率向量。基于文本挖掘中常用的隐含狄利克雷分配(latent Dirichlet allocation, LDA)主题模型,视短序列元组为序列的浅层特征(词),利用LDA模型学习算法提取主题及其概率分布,作为序列的深层特征。在6个实际序列数据集上进行试验,并与基于元组、Markov模型的现有方法作对比,结果表明,新方法在降低特征维度的同时提高了表示模型的学习效率,在符号序列分类应用中可以取得较理想的分类精度。