基于多维动态拓扑学习图卷积的骨架动作识别

图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动态拓扑学习图卷积用于动态建模具有时序与通道特异性的拓扑结构.多维动态拓扑学习图卷积主要包含三个组成部分：纯粹节点拓扑学习图卷积（pure Joint topology learning Graph Convolution, J-GC）、动态时序特异性拓扑学习图卷积（Dynamic Temporal-Wise topology learning Graph Convolution, DTW-GC）和通道特异性拓扑学习图卷积（Channel-Wise topology learning Graph Convolution, CW-GC）.特别地,在DTW-GC中使用了动态骨架拓扑建模方法（Dynamic Skeleton Topology Learning, DSTL）,以高效地建模富含全局时空拓扑特征的动态骨架拓扑.将多维动态拓扑学习图卷积与多尺度时间卷积（Multi-Scale Te...     

结合时空注意力机制和自适应图卷积网络的骨架行为识别

针对骨架行为识别对时空特征提取不充分以及难以捕捉全局上下文信息的问题,研究了一种将时空注意力机制和自适应图卷积网络相结合的人体骨架行为识别方案.首先,构建基于非局部操作的时空注意力模块,辅助模型关注骨架序列中最具判别性的帧和区域;其次,利用高斯嵌入函数和轻量级卷积神经网络的特征学习能力,并考虑人体先验知识在不同时期的影...     

面向电力服务情绪识别的图卷积网络方法研究

情绪识别对于提升电力交互式服务平台的工作效率与服务质量有重要意义。传统的情绪识别技术通常使用基于循环神经网络(recurrent neural network, RNN)或类似结构的模型刻画对话中的上下文关系,上下文之间的语义传递具有局限性。针对这一问题,提出了一种引入图卷积网络(graph convolutional network, GCN)的情绪识别模型,利用图结构对对话文本内容的上下文依赖性建模,以刻画对话中更为复杂的上下文结构。实验表明,该方法相比传统方法在情绪识别任务中具有更好的表现。     

基于混合图卷积网络模型的节点分类方法

随着互联网和大数据的发展,近年来图表征学习(Graph Representation Learning)受到了广泛关注。图表征学习将图中每一个节点都映射到一个低维向量空间,并且在此空间内保持原有图的结构信息,常常应用于节点分类、链路预测以及社群发现等任务。图卷积网络(Graph Convolutional Networks,GCN)和图注意力网络(Graph Attention Networks,GAT)是基于神经网络的图表征学习方法。GCN模型假设图中所有的边都具有相同的权重,所以认为图中节点间互联的强弱关系是一致的,这是不合理的。虽然GAT模型引入了多个注意力矩阵来学习图中相邻节点之间的重要性,但增加了计算复杂性。因此,提出了一种基于混合图卷积网络模型(GCN Mixture Model,GCN-MM)的方法。该方法充分利用GCN模型与GAT模型各自的优点,结合了图中节点的相邻相似性、结构相似性以及特征多样性。在公共数据集CORA、CITESEER、PUBMED的半监督任务中,它相比GAT模型有效减少了模型的可调整参数数量和训练耗时,同时不影响精度。在CORA和PUBMED数据集的...     

基于图卷积网络的基站用户数量预测

移动网络用户预测建模有助于发现城市人群时空分布特征和实行合理资源调度策略。随着移动网络的快速发展，移动通信基站产生了大量手机信令信息，为数据驱动建模提供了支撑。传统的时序预测只考虑时序特征而忽略了空间上的关联。针对这一问题，提出一种基于图卷积网络(Graph Convolutional Network, GCN)的基站用户数量预测模型。利用GCN获取基站之间的空间关联特征，通过长短时记忆(Long Short-Term Memory, LSTM)网络对时序特征进行建模。通过进行对比实验和消融实验，证明该模型能够有效提取基站用户数量的时空特征，相对传统方法具有更优的性能。     

基于图卷积网络的手指静脉识别方法研究

针对传统手指静脉识别方法往往存在识别率低或者计算量大等问题，本文提出一种基于轻量型图卷积网络的手指静脉识别方法。首先用一个加权图描述一张手指静脉图像，图的顶点特征和加权边集分别由指静脉图像的局部方向能量特征和特征间相关性确定。图数据作为输入，经过基于切比雪夫多项式的图卷积层和由图粗化协助的快速池化层，然后全连接层进行特征整合，再进行分类识别。实验结果显示，该方法识别效率远高于传统算法，并在实验室自制手指静脉数据库达到96.80%的识别率，在不同数据库有较好的普适性。      

基于空间注意力与图卷积的多标签图像分类算法

针对传统多标签图像分类模型存在难以生成更接近相关标签的高层图像特征,以及因未能利用标签之间的视觉相关性而导致的识别精度不够高等问题,提出了一种基于空间注意力与图卷积的多标签图像分类算法.首先,利用图卷积网络学习标签邻接图特征和使用GLOVE算法,从标签序列获取的标签嵌入;其次,在高层语义信息中引入改进的空间注意力网络以...     

基于光谱注意力图卷积网络的高光谱图像分类

近年来,图卷积网络因其特征聚合的机制,能够同时对单个节点以及近邻节点的特征进行表示,被广泛应用于高光谱图像的分类任务。然而,高光谱图像(HSI)中常存在波段冗余、同物异谱等问题,使得直接利用原始光谱特征构建的初始图可靠性不足,从而导致高光谱图像的分类精度低。为此,该文提出一种基于光谱注意力图卷积网络(SAGCN)的高光谱图像半监督分类方法。首先,利用注意力模块对光谱的局部与全局信息进行交互,以增加重要光谱的权重、减小冗余波段以及噪声波段的权重,从而实现光谱的自适应加权;然后,针对光谱加权处理后的高光谱图像,通过空间-光谱相似性度量构建更为准确的近邻矩阵;最后,通过图卷积对标记和无标记样本进行有效的特征聚合,并使用标记样本的聚合特征训练网络。在Indian Pines, Kennedy Space Center和Botswana 3个真实高光谱图像数据集上的实验结果验证了所提方法的有效性。     

双路注意力引导图卷积网络的关系抽取

为了更好地学习节点依赖并利用结构信息,本文提出一种以完全依赖树作为直接输入的新方法,利用图卷积网络并结合两个并行的注意力模块,自主学习如何有选择地关注对关系抽取任务有用的信息.该方法将样本表示成图上的各节点,一个模块用于计算节点特征位置之间的影响,使特征向量可以包含更广范围的语义信息,另一个用于计算节点依赖的关系特征,...     

基于密集残差移位图卷积的骨架行为识别

针对人体骨架行为识别中因时空特征提取不充分、网络计算量大和计算效率低导致相似行为识别结果不理想的问题，提出一种基于密集残差移位图卷积网络的骨架行为识别算法。使用姿态估计算法提取人体骨架信息，经坐标向量计算得到骨架的关节、骨骼以及各自的运动信息，并分别输入网络中。在移位图卷积模块间引入密集残差结构，提高网络性能和提取时空特征的效率。所提算法可应用于日常行为场景，例如：行走、坐下、站起、脱衣服、穿衣服、扔以及摔倒等。其在自制数据集上的识别准确率达到81.7%，在NTU60 RGB+D数据集两种评估标准下的准确率也分别达88.1%和95.3%，验证了算法具有优秀的识别精度。     

多交互图卷积网络用于方面情感分析

方面情感分析旨在识别句子中特定方面的情感极性,是一项细粒度情感分析任务。传统基于注意力机制方法,仅在单词之间进行单一的语义交互,没有建立方面词与文本词的语法信息交互,导致方面词错误地关注到与其语法无关的文本词信息。此外,单词的位置距离特征和语法距离特征,分别体现其在句子线性形式中和句子语法依存树中的位置关系,而基于图卷积网络处理语法信息的方法却忽略距离特征,使距方面词较远的无关信息对其情感分析造成干扰。针对上述问题,该文提出多交互图卷积网络(MIGCN),首先将文本词位置距离特征馈入到每层图卷积网络,同时利用依存树中文本词的语法距离特征对图卷积网络的邻接矩阵加权,最后,设计语义交互和语法交互分别处理单词之间语义和语法信息。实验结果表明,在公共数据集上,准确率和宏F1值均优于基准模型。     

基于时空特征增强图卷积网络的骨架行为识别

针对骨架行为识别不能充分挖掘时空特征的问题,该文提出一种基于时空特征增强的图卷积行为识别模型(STFE-GCN)。首先,介绍表征人体拓扑结构邻接矩阵的定义及双流自适应图卷积网络模型的结构,其次,采用空域上的图注意力机制,根据邻居节点的重要性程度分配不同的权重系数,生成可充分挖掘空域结构特征的注意力系数矩阵,并结合非局部网络生成的全局邻接矩阵,提出一种新的空域自适应邻接矩阵,以期增强对人体空域结构特征的提取;然后,时域上采用混合池化模型以提取时域关键动作特征和全局上下文特征,并结合时域卷积提取的特征,以期增强对行为信息中时域特征的提取。再者,在模型中引入改进通道注意力网络(ECA-Net)进行通道注意力增强,更有利于模型提取样本的时空特征,同时结合空域特征增强、时域特征增强和通道注意力,构建时空特征增强图卷积网络模型在多流网络下实现端到端的训练,以期实现时空特征的充分挖掘。最后,在NTU-RGB+D和NTU-RGB+D120两个大型数据集上开展骨架行为识别研究,实验结果表明该模型具有优秀的识别准确率和泛化能力,也进一步验证了该模型充分挖掘时空特征的有效性。     

基于骨架动作识别的协作卷积Transformer网络

近年来,基于骨架的人体动作识别任务因骨架数据的鲁棒性和泛化能力而受到了广泛关注。其中,将人体骨骼建模为时空图的图卷积网络取得了显著的性能。然而图卷积主要通过一系列3D卷积来学习长期交互联系,这种联系偏向于局部并且受到卷积核大小的限制,无法有效地捕获远程依赖关系。该文提出一种协作卷积Transformer网络(Co-ConvT),通过引入Transformer中的自注意力机制建立远程依赖关系,并将其与图卷积神经网络(GCNs)相结合进行动作识别,使模型既能通过图卷积神经网络提取局部信息,也能通过Transformer捕获丰富的远程依赖项。另外,Transformer的自注意力机制在像素级进行计算,因此产生了极大的计算代价,该模型通过将整个网络分为两个阶段,第1阶段使用纯卷积来提取浅层空间特征,第2阶段使用所提出的ConvT块捕获高层语义信息,降低了计算复杂度。此外,原始Transformer中的线性嵌入被替换为卷积嵌入,获得局部空间信息增强,并由此去除了原始模型中的位置编码,使模型更轻量。在两个大规模权威数据集NTU-RGB+D和Kinetics-Skeleton上进行实验验证,该模型分别达到了88.1%和36.6%的Top-1精度。实验结果表明,该模型的性能有了很大的提高。     

基于参数差异假设的图卷积网络对抗性攻击

图神经网络容易受到对抗性攻击安全威胁.现有图神经网络对抗性攻击思想可以概括为构造矛盾的训练数据.矛盾数据假设不能很好地解释图神经网络过拟合训练数据的攻击场景.本文以有效攻击前后图神经网络模型的训练参数应该具有较大差异为基本出发点，以图卷积网络为具体研究对象，建立基于参数差异假设的对抗性攻击模型.将统计诊断的重要结果 Cook距离引入对抗性攻击，提出基于Cook距离的参数差异度量方法 .采用基于Cook距离梯度的攻击方法，首次得出了攻击梯度的闭式解，并结合梯度下降算法思想和贪心算法思想提出完整的攻击算法.最后设计实验验证了参数差异假设的合理性和基于该假设导出方法的有效性；验证了梯度信息对图场景离散数据的可用性；仿真示例说明了攻击梯度闭式解的正确性；与其他攻击方法对比分析了攻击方法的有效性.     

基于面部关键点和图卷积的表情识别方法

针对现有人脸表情识别方法对于面部细节处的局部特征关注度不足的问题,提出了基于面部关键点和图卷积的人脸表情识别方法CGNet。CGNet将面部图像按面部器官进行分割得到多个分割图像,提取分割图像的多尺度特征并引入空间注意力机制提取细节信息,提升网络对于面部细节的关注度;提取人脸关键点,利用图卷积网络提取出人脸面部的结构信息,提升网络对高维度特征的表示能力。实验结果表明,CGNet是一种高效的表情识别算法,能够获得更有效的面部特征,提高识别准确率。     

基于图卷积神经网络的高校评教文本垃圾识别模型

目前,高校的学生评教与专家评教,是考核、评价教师的重要依据之一.虽然大多数高校有自己的评教系统,但鲜有高校能将评教的数据合理有效地利用,甚至有些评教内容以偏概全、不切实际,质量难以量化教师的真实情况.本文旨在利用图卷积神经网络模型,充分考虑评教学生对教师评价的图形拓扑关系,深度挖掘评价者与被评价者的特征信息,从而进行准确的垃圾评价识别,帮助评教系统智能化地区分无用的评价信息,从而提升评教智能化.     

基于图卷积网络的服装评价信息分类问题的研究

随着互联网的快速发展以及电子设备的逐渐普及,越来越多的人选择在网上购物,买家在购买商品之后,可以通过平台提供的评价系统表达自己对服装产品的感受,因此会产生大量的服装评价信息.由于这些评价信息的标签是通过人工选择的,会受到外在因素的影响,所以具有不确定性.这些不确定性产生的误差会影响到平台以及其他用户对服装产品的评判.针...     

面向方面情感分析的多通道增强图卷积网络

传统的基于单通道的特征提取方式,仅使用单一的依赖关系捕获特征,忽略单词间的语义相似性与依赖关系类型信息。尽管基于图卷积网络进行方面情感分析的方法已经取得一定成效,但始终难以同时聚合节点的语义信息和句法结构特征,在整个迭代训练过程中最初的语义特征会逐渐遗失,影响句子最终的情感分类效果。由于缺乏先验知识会导致模型对相关情感词的误解,因此需要引入外部知识来丰富文本信息。目前,如何利用图神经网络(GNN)融合句法和语义特征的方式仍值得深入研究。针对上述问题,该文提出一种多通道增强图卷积网络模型。首先,通过对情感知识和依赖类型增强的句法图进行图卷积操作,得到基于语法的两种表示,与经过多头注意力和图卷积学习到的语义表示进行融合,使多通道的特征能够互补学习。实验结果表明,在5个公开数据集上,准确率和宏F1值优于基准模型。由此可见,依赖类型和情感知识均对增强句法图有重要影响,表明融合语义信息与句法结构的有效性。