基于双流网络融合与时空卷积的人体行为识别

针对视频中存在噪音,无法更好地获取特征信息,造成动作识别不精准的问题.提出了一种基于时空卷积神经网络的人体行为识别网络.将长时段视频进行分段处理,分别把RGB图片和计算出的光流图输入到两个卷积神经网络(CNN)中,使用权重相加的融合算法将提取的时域特征和空域特征融合成时空特征.形成的中层语义信息输入到R(2+1)D的卷积中,利用ResNet提高网络性能,最后在softmax层进行行行为识别.在UCF-101和HMDB-51数据集上进行实验,获得了92.1％和66.1％的准确率.实验表明,提出的双流融合与时空卷积网络模型有助于视频行为识别的准确率提高.     

基于GRU-GCN-RDrop模型的交通速度预测

准确并实时地预测交通速度是实现智能交通管控和建设智慧交通系统必不可少的一环,然而现有的预测方法无法准确地挖掘其潜在的时空相关性。为了进一步挖掘数据的时空特性以及提高预测精度,设计了基于门控循环神经网络(GRU),图卷积网络(GCN)和正则化Dropout(R-Drop)结合的GRU-GCN-RDrop组合模型。GCN用于学习复杂的拓扑结构来捕获空间依赖性,GRU用于学习交通数据的动态变化来捕获时间依赖性。GCN和GRU相结合后使用R-Drop方法提高模型泛化能力。以SZ-taxi数据集为例进行预测分析,GRU-GCN-RDrop模型预测了未来在15分钟、30分钟、45分钟和60分钟的交通速度,并得出对应的均方根误差、平均绝对误差、精度、判定系数和解释方差。对比GCN、GRU单个模型,GRU-GCN-RDrop模型有效解决了误差的迅速累积问题。对比大多数现有基准模型,GRU-GCN-RDrop模型对于交通速度序列的特征提取及解释能力较为优秀。对比T-GCN模型和ST-AGTCN模型,GRU-GCN-RDrop模型泛化能力更强。由此说明了GRU-GCN-RDrop模型预测的交通速度时间序列...     

基于图卷积网络和自编码器的半监督网络表示学习模型

为了保留网络结构信息和节点特征信息,结合图卷积神经网络(GCN)和自编码器(AE),提出可扩展的半监督深度网络表示学习模型(Semi-GCNAE).利用GCN捕获节点的K阶邻域中所有节点的结构和特征信息,并将捕获的信息作为AE的输入.AE对GCN捕获的K阶邻域信息进行特征提取和非线性降维,并结合Laplacian特征映射保留节点的团簇结构信息.引入集成学习方法联合训练GCN和AE,使模型习得的节点低维向量表示能同时保留网络结构信息和节点特征信息.在5个真实数据集上的广泛评估表明,文中模型习得的节点低维向量表示可以有效保留网络的结构和节点特征信息,并在节点分类、可视化和网络重构任务上性能较优.     

考虑时空影响下的图卷积网络短时交通流预测

针对交通流预测过程中城市道路路网的空间特征难以充分提取,导致预测结果精度不高的问题,提出图卷积网络（GCN）与门控循环单元（GRU）组合短时交通流预测模型。利用GCN对拓扑结构数据处理的优势,将城市道路路网空间排列结构转换为拓扑关系建模,通过解决拓扑关系问题有效提取出路网间的空间特征。采用GraphSAGE算法改进GCN模型,通过加和聚合算子和图注意力机制（GAT）聚合空间特征,将包含空间特征的输出作为GRU模型的输入提取时间特征。利用真实道路车流量数据进行模型验证,结果表明该模型相较于不具有GCN的模型预测准确率提升约8%,均方误差缩小约0.010?37,说明所提模型具有相对较高的稳定性及预测精度,可以为大型城市路网提供重要的交通诱导依据。     

基于EEG和DE-CNN-GRU的情绪识别

近年,情绪识别研究已经不再局限于面部和语音识别,基于脑电等生理信号的情绪识别日趋火热.但由于特征信息提取不完整或者分类模型不适应等问题,使得情绪识别分类效果不佳.基于此,本文提出一种微分熵(DE)、卷积神经网络(CNN)和门控循环单元(GRU)结合的混合模型(DE-CNN-GRU)进行基于脑电的情绪识别研究.将预处理后的脑电信号分成5个频带,分别提取它们的DE特征作为初步特征,输入到CNN-GRU模型中进行深度特征提取,并结合Softmax进行分类.在SEED数据集上进行验证,该混合模型得到的平均准确率比单独使用CNN或GRU算法的平均准确率分别高出5.57%与13.82%.     

分类激活图增强的图像分类算法

分类激活图(CAM)具有稀疏、不连续、不完整等问题,并且目前大部分研究仅将其用于可视化分析。基于此,首先利用扩张卷积设计了自动加权的多尺度特征学习来弥补分类激活图存在的问题,并将该多尺度特征与分类激活图生成方法结合,设计了多尺度分类激活图生成方法。进一步,将该多尺度的分类激活图嵌入到网络中构成了端到端的结构,实现分类性能增强的目的。以残差网络ResNet为骨干网络,提出了分类增强模型ResNet-CE。在三个公开数据集CIFAR10、CIFAR100和STL10上,对该模型进行了大量的实验。实验表明:ResNet-CE在这三个数据集上的分类性能与参数量相当的ResNet相比有明显的提升,识别的错误率分别降低了0.23%、3.56%和7.96%,并且分类性能优于当前大部分的分类网络。提出的算法能够简单地迁移到已有的分类模型中,提高原有模型的分类性能。同时,该算法保留了对模型判断依据可视化和解释的功能,这在医疗影像中的疾病识别、无人驾驶的场景识别等场景中具有一定的应用价值和意义。     

时空图卷积网络下的路网交通事故风险预测

路网交通事故预测是实现道路管控、路线规划的最重要方式之一。考虑到路网中各路段特征与环境因素的影响,建立基于图卷积神经网络（GCN）和门控循环单元（GRU）的时空门控图卷积（STGRGCN）模型预测交通事故风险。通过GCN提取出道路间的空间关联性,通过GRU提取出环境因素中的时间关联性,再通过GCN与GRU的复合模块提取出时空关联性。选取美国全国交通事故数据集中洛杉矶市和休斯顿市相关数据对模型进行检验,STGRGCN模型的均方根误差、平均绝对误差以及召回率在两个城市分别为4.09、2.14、0.714和5.79、3.24、0.683,优于已有统计模型、机器学习模型以及复合模型。设计该除各模块的消融实验,证明该模型各模块皆有助于提升预测性能。     

基于门控卷积的时空交通流预测模型

针对现有的交通流预测模型未能精确捕获交通数据的时空特征,以及大部分模型都是在单步预测中体现出良好的预测性能,在多步预测中模型的预测性能显得并不理想的问题,提出了一种基于门控卷积的时空交通流预测模型（GC-STTFPM）。首先,利用图卷积网络（GCN）结合门控循环单元（GRU）来捕获交通流数据的时空特征;然后提出了一种利用卷积门控单元对原始数据和时空特征数据进行拼接与筛选处理的方法来对时空特征数据的有效性进行校验;最后,将GRU作为解码器来对未来交通流作出准确可靠的预测。在洛杉矶公路的交通数据集上的实验结果表明,GC-STTFPM在单步预测（5 min）中与基于注意力的时空图神经网络（ASTGNN）和扩散卷积递归神经网络（DCRNN）相比,平均绝对误差（MAE）分别降低了5.9%和9.9%,均方根误差（RMSE）分别降低了1.7%和5.8%。同时,GC-STTFPM在15、30、60 min三个多步尺度下的预测精度优于大多数现有基准模型,具有较强的适应性和鲁棒性。     

融合图卷积和差异性池化函数的点云数据分类分割模型

目的 深度网络用于3维点云数据的分类分割任务时,精度与模型在全局和局部特征上的描述能力密切相关。现有的特征提取网络,往往将全局特征和不同尺度下的局部特征相结合,忽略了点与点之间的结构信息和位置关系。为此,通过在分类分割模型中引入图卷积神经网络（graph convolution neural network,GCN）和改进池化层函数,增强局部特征表征能力和获取更丰富的全局特征,改善模型对点云数据的分类分割性能。方法 GCN模块通过K近邻算法构造图结构,利用相邻点对的边缘卷积获取局部特征,在深度网络模型中动态扩展GCN使模型获得完备的局部特征。在池化层,通过选择差异性的池化函数,联合提取多个全局特征并进行综合,保证模型在数据抖动时的鲁棒性。结果 在ModelNet40、ShapeNet和S3DIS（stanford large-scale 3D indoor semantics）数据集上进行分类、部分分割以及语义场景分割实验,验证模型的分类分割性能。与PointNet相比,在ModelNet40分类实验中,整体精度和平均分类精度分别提升4%和3.7%;在ShapeNet部分分割数据集和S3DIS室内场景数据集中,平均交并比（mean intersection-over-union, mIoU）分别高1.4%和9.8%。采用不同的池化函数测试结果表明,本文提出的差异性池化函数与PointNet提出的池化函数相比,平均分类精度提升了0.9%,有效改善了模型性能。结论 本文改进的网络模型可以有效获取点云数据中的全局和局部特征,实现更优的分类和分割效果。     

基于改进1DCNN-SAGRU模型的渔船作业方式识别

海洋渔业领域中渔船轨迹数据具有时空性和非平稳性的特点,针对目前渔船作业方式识别方法存在对数据信息提取不充分及识别精度低的问题,提出了一种基于一维卷积神经网络(one-dimensional convolutional neural network, 1DCNN)和加入自注意力(self-attention)的门控循环单元网络(gated recurrent unit, GRU)的渔船作业方式识别模型(1DCNN-SAGRU).模型利用一维CNN和GRU充分提取渔船轨迹数据的局部空间特征和时序上的依赖关系,并引入自注意力机制强化模型对关键信息的关注能力.最后引入dropout方法和RAdam优化器对模型进行改进和优化,防止模型过拟合的同时加快网络的收敛速度和输出准确性.经实验和分析表明,相较于其他对比模型,该模型在准确率上最高可提升4.4个百分点,说明该模型能更准确地识别渔船拖网、围网和刺网作业,有利于加强渔船监管能力和渔业资源的保护.     

基于全局时空特性的城市路网交通速度预测模型

城市路网交通速度预测是智能交通系统中的重要组成部分,其可为出行者提供实时的交通信息,对提升道路通行能力具有重要意义。现有基于图卷积网络的预测模型一定程度上加强了对一阶相邻路段间空间关联程度的挖掘,但在非一阶相邻路段关联度大于一阶相邻路段关联度的情况下,如果仍输入原始的邻接矩阵,会遗失一些相对重要的路段空间信息,无法得到较好的预测结果。为准确挖掘城市路网中的时空特性,提出一种基于全局图卷积和门控循环单元的城市路网交通速度预测模型G-GCGRU。考虑全局路网下非一阶相邻路段间的空间影响程度,利用相关性分析方法计算得到路段间的关联度矩阵,并作为新的卷积方式进一步加深对空间特征的挖掘,在此基础上,采用门控循环单元方法提取路网时间特征。使用深圳市罗湖区城市路网车速数据进行实验,结果表明,该模型预测性能优于图卷积网络（GCN）、门控循环单元（GRU）和GCN-GRU混合模型,以均方根误差为评价指标,预测精度分别提高25.3%、4.7%和2.1%。     

面向短时地铁客流量预测的混合深度学习模型

城市交通客流量精准预测是智能交通系统的重要环节,是有效管控交通、规划最佳出行线路的关键。目前城市交通客流量短时预测研究主要集中在利用深度学习模型进行时空特征的提取,忽略了对模型优化的研究。针对短时地铁客流量预测存在的问题,提出一种混合深度学习模型ResGRU_Metro,将卷积神经网络、残差单元和门控循环单元相结合,捕获流量数据的时空特征。针对深度学习模型常用的损失函数难以对交通客流量峰值进行精准预测的问题,引入面向短时交通流量预测的加权平方误差,根据交通客流量的大小为预测误差赋予不同权重,并加大对交通客流量峰值处误差的惩罚,使神经网络在反向传播时更加关注峰值处的预测和误差,从而提升交通客流量峰值的预测精度。此外,通过耦合天气、空气质量等外部因子,改善模型的整体预测性能,增强模型的稳定性。实验结果表明,相比LR、PSVR、CNN等典型的预测模型,ResGRU_Metro模型有更高的预测精度,能够准确预测交通客流量的峰值。     

融合关系特征的半监督图像分类方法研究

半监督深度学习模型具有泛化能力强,所需样本数较少等特点,经过10多年的发展,在理论和实际应用方面都取得了巨大的进步,然而建模样本内部“隐含”关系时模型缺乏解释性以及构造无监督正则化项难度较大等问题限制了半监督深度学习的进一步发展。针对上述问题,从丰富样本特征表示的角度出发,构造了一种新的半监督图像分类模型—融合关系特征的半监督分类模型（semi-supervised classification model fused with relational features,SCUTTLE）,该模型在卷积神经网络模型(convolutional neural networks,CNN)基础上引入了图卷积神经网络(graph convolutional networks,GCN),尝试通过GCN模型来提取CNN模型各层的低、高级特征间的关系,使得融合模型不仅具有特征提取能力,而且具有关系表示能力。通过对SCUTTLE模型泛化性能进行分析,进一步说明了该模型在解决半监督相关问题时的有效性。数值实验结果表明,三层CNN与一层GCN的融合模型在CIFAR10、CIFAR100、SVHN 3种数据集上与CNN监督学习模型的精度相比均可提升5%~6%的精度值,在最先进的ResNet、DenseNet、WRN（wide residual networks）与GCN的融合模型上同样证明了本文所提模型的有效性。     

面向脑核磁共振识别运动任务的门控循环单元方法

目的 在脑科学领域,已有研究借助脑功能核磁共振影像数据(functional magnetic resonance imaging,fMRI)探索和区分人类大脑在不同运动任务下的状态,然而传统方法没有充分利用fMRI数据的时序特性。对此,本文提出基于fMRI数据计算的全脑脑区时间信号(time course,TC)的门控循环单元(gated recurrent unit,GRU)方法(TC-GRU)进行运动任务分类。方法 基于HCP(human connectome project)数据集中的100个健康被试者在5种运动任务中分两轮采集的1 000条fMRI数据,对每种运动任务计算每个被试者在各脑区(共360个脑区)的时间信号;使用10折交叉验证方案基于训练集和验证集训练TC-GRU模型,并用构建好的模型对测试集进行测试,考察其对5种运动任务的分类能力,其中TC-GRU在各时刻的输入特征为全脑脑区在对应时刻的TC信号幅值,通过这样的方式提取全脑脑区在整个时间段的时序特征。同时,为了展示使用TC-GRU模型可挖掘fMRI数据中更丰富的信息,设计了多个对比实验进行比较,利用长短期记忆网络(...     

基于多头图注意力网络与图模型的多标签图像分类

多标签图像分类是多标签数据分类问题中的研究热点.针对目前多标签图像分类方法只学习图像的视觉表示特征,忽略了图像标签之间的相关信息以及标签语义与图像特征的对应关系等问题,提出了一种基于多头图注意力网络与图模型的多标签图像分类模型(ML-M-GAT).该模型利用标签共现关系与标签属性信息构建图模型,使用多头注意力机制学习标签的注意力权重,并利用标签权重将标签语义特征与图像特征进行融合,从而将标签相关性与标签语义信息融入到多标签图像分类模型中.为验证本文所提模型的有效性,在公开数据集VOC-2007和COCO-2014上进行实验,实验结果表明, ML-M-GAT模型在两个数据集上的平均均值精度(mAP)分别为94%和82.2%,均优于CNN-RNN、ResNet101、MLIR、MIC-FLC模型,比ResNet101模型分别提高了4.2%和3.9%.因此,本文所提的ML-M-GAT模型能够利用图像标签信息提高多标签图像分类性能.     

基于GCN-LSTM的空气质量预测

随着我国环境监测技术的不断发展,环境空气质量的网格化监测体系越来越受到相关工作人员的青睐,为应对空气污染的网格化监测体系中的小型、微型监测站的空气质量预测问题,本文提出了一种基于GCN和LSTM的空气质量预测模型.首先利用GCN网络提取网格化监测体系中的小微型监测站之间的空间特征,然后再使用LSTM提取时间特征,最后使用线性回归层来综合时空特征并产生空气质量的预测结果.为了验证本文提出的预测模型的性能,我们使用了沈阳市浑南区的14个小微型监测站的空气质量监测数据进行实验.实验结果显示,基于GCN-LSTM的空气质量预测模型在空间关联较强的网格化监测中的小微型监测站上的预测结果的精度要优于单一的LSTM预测模型.     

基于组合模型的短时交通流预测方法

准确、实时的交通流预测对交通规划、交通管理和交通控制具有重要意义.然而,由于道路网络拓扑结构约束和交通流随时间动态变化的空时相关特性,交通流预测仍然具有挑战性.为了同时捕获交通流的空间和时间相关性,提出一种将图卷积网络(GCN)和门控循环单元(GRU)相结合的组合模型方法.利用GCU能够灵活处理图结构数据的优点来捕捉各个路段的空间特征,继而发挥GRU在处理时间序列方面的优势挖掘交通流的内在时间规律,空时融合后得到最终预测结果.利用美国交通研究数据实验室的高速公路交通数据对该模型进行仿真验证,结果表明,所提出的GCN-GRU组合模型方法具有更高的预测精度,预测结果优于自回归积分滑动平均(ARIMA)模型和GRU模型等基准预测方法.     

基于自适应图卷积网络的心电图多标签分类模型

心电图分析是一种被广泛应用的心脏疾病诊断方法。传统的心电图分析严重依赖医生个人水平,容易出现误诊、漏诊现象,效率较低,且不能有效利用高频信号提供的有价值信息。基于卷积神经网络（CNN）的心电图自动分类方法在一定程度上提高了诊断效率,但依然存在对高频信息利用不充分的问题,且单一的卷积神经网络由于受感受野的限制和权重共享的影响,导致无法充分利用全局信息,分类准确率有待提高。提出一种基于注意力机制与图卷积网络的心电图多标签分类模型MLECG-AGCN,通过设计基于注意力机制的CNN网络,提高网络对高频信号的利用率。引入图卷积网络,以有效利用全局信息和特征空间邻域样本信息,从而协助样本进行分类,提高分类结果的准确率。基于注意力机制的CNN网络通过高通滤波器突出原始信号的高频位置,生成注意力图,并将注意力图嵌入到原始信号中,增强网络关注高频信号的能力。在PTB-XL数据集上的实验结果表明,基于注意力机制的CNN网络与自适应图卷积网络的结合有效提高了心电图分类精度,与Multi-ECGNet、ResNet18、ResNet101等模型相比,MLECG-AGCN模型取得了较高的AUROC值,为0.943 639。     

基于时空信息融合学习的路段行程车速短时预测

路段行程车速的变化受时间和空间维度信息的综合影响,多数神经网络模型仅从时间维度上预测路段行程车速的变化规律,未能全面考虑路网结构和上下游交通状态对路段行程车速的影响。结合图卷积网络和门控循环单元构建深度学习模型,挖掘路段行程车速的时空特性。通过在线地图平台获取路段实时行程车速,使用等维递补方法更新历史序列数据,提高预测实时性。在深圳市部分区域路网上的实验结果表明,该模型的多步预测精度均在90%以上,相比自回归积分滑动平均模型、支持向量机回归模型和门控循环单元模型最高提升了6.9%、1.3%和0.4%,具有更优的路段行程车速预测效果。