基于图卷积的手势骨架生成

目前手势生成的工作多用于从语音或文本中产生协同的手势以及实现手势数据增强.前者作为非语言信号辅助交流,却难以单独表达语义.对于后者,大多数都是将骨骼关节点当作图像的一个像素,整体当作图像处理,而没有考虑到关节点间丰富的人体结构信息,从而可能导致生成的结果是扭曲的、不自然的.本文提出了基于图卷积的生成式模型,以有效地编码...     

基于轻量级图卷积网络的校园暴力行为识别

针对卷积神经网络和图卷积网络的两类算法在校园暴力行为识别中识别速度和识别率不高的问题,本文提出一种结合多信息流数据融合和时空注意力机制的轻量级图卷积网络。以人体骨架为研究对象,首先融合关节点和骨架相关的多信息流数据,通过减少网络参数量来提高运算速度;其次构建基于非局部运算的时空注意力模块关注最具动作判别性的关节点,通过减少冗余信息提高识别准确率;接着构建时空特征提取模块获得关注关节点时空关联信息;最终由Softmax层实现动作识别。实验结果表明：在校园安防实景中对拳打、脚踢、倒地、推搡、打耳光和跪地6种典型动作识别准确率分别为94.5%,97.0%,98.5%,95.0%,94.5%,95.5%,识别速度最大为20.6 fps。在UCF101数据集上对比两类基准网络,识别速度和准确率均有提升,验证了方法对其他动作的通用性,可以满足对校园典型暴力行为识别的实时性和可靠性要求。     

基于多维动态拓扑学习图卷积的骨架动作识别

图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动态拓扑学习图卷积用于动态建模具有时序与通道特异性的拓扑结构.多维动态拓扑学习图卷积主要包含三个组成部分：纯粹节点拓扑学习图卷积（pure Joint topology learning Graph Convolution, J-GC）、动态时序特异性拓扑学习图卷积（Dynamic Temporal-Wise topology learning Graph Convolution, DTW-GC）和通道特异性拓扑学习图卷积（Channel-Wise topology learning Graph Convolution, CW-GC）.特别地,在DTW-GC中使用了动态骨架拓扑建模方法（Dynamic Skeleton Topology Learning, DSTL）,以高效地建模富含全局时空拓扑特征的动态骨架拓扑.将多维动态拓扑学习图卷积与多尺度时间卷积（Multi-Scale Te...     

基于多头类特定残差注意力和图卷积的多标签图像分类算法

针对ML-GCN中全局最大池化所获得的图像特征对特定类别在不同图像区域上缺乏针对性和丢失图像局部特征信息的问题,提出了类特定残差注意力(CSRA)模块.该模块可以有效捕获不同类别对象所占据的不同空间区域.此外,将提出的类特定残差注意力与图卷积神经网络相结合,提出了基于多头类特定残差注意力与图卷积的多标签图像分类算法(ML-CSRA).首先利用卷积神经网络提取通用的图像特征图,之后将提出的类特定残差注意力扩展为多头形式,并将其应用于通过卷积神经网络提取到的通用图像特征图,提取各个区域对应不同类别的特征.最后将图卷积神经网络提取的标签相关特征与多头类特定残差注意力提取的图像特征结合,得到最后的多标签图像分类结果.在MS-COCO 2014和VOC-2007数据集上的实验结果表明提出算法在所有评估指标上都优于目前已有算法.     

基于时空特征增强图卷积网络的骨架行为识别

针对骨架行为识别不能充分挖掘时空特征的问题,该文提出一种基于时空特征增强的图卷积行为识别模型(STFE-GCN)。首先,介绍表征人体拓扑结构邻接矩阵的定义及双流自适应图卷积网络模型的结构,其次,采用空域上的图注意力机制,根据邻居节点的重要性程度分配不同的权重系数,生成可充分挖掘空域结构特征的注意力系数矩阵,并结合非局部网络生成的全局邻接矩阵,提出一种新的空域自适应邻接矩阵,以期增强对人体空域结构特征的提取;然后,时域上采用混合池化模型以提取时域关键动作特征和全局上下文特征,并结合时域卷积提取的特征,以期增强对行为信息中时域特征的提取。再者,在模型中引入改进通道注意力网络(ECA-Net)进行通道注意力增强,更有利于模型提取样本的时空特征,同时结合空域特征增强、时域特征增强和通道注意力,构建时空特征增强图卷积网络模型在多流网络下实现端到端的训练,以期实现时空特征的充分挖掘。最后,在NTU-RGB+D和NTU-RGB+D120两个大型数据集上开展骨架行为识别研究,实验结果表明该模型具有优秀的识别准确率和泛化能力,也进一步验证了该模型充分挖掘时空特征的有效性。     

结合时空注意力机制和自适应图卷积网络的骨架行为识别

针对骨架行为识别对时空特征提取不充分以及难以捕捉全局上下文信息的问题,研究了一种将时空注意力机制和自适应图卷积网络相结合的人体骨架行为识别方案.首先,构建基于非局部操作的时空注意力模块,辅助模型关注骨架序列中最具判别性的帧和区域;其次,利用高斯嵌入函数和轻量级卷积神经网络的特征学习能力,并考虑人体先验知识在不同时期的影...     

基于图卷积神经网络的人体三维重建

针对在人体三维重建任务中人体模型姿势参数的回归会出现不连续性或周期性的问题,以及生成的模型往往不能展现丰富的人体表面细节的问题.本文尝试使用神经网络从输入的原始图像中提取丰富的人体特征,并将所得特征融合到标准人体模型的网格顶点上,然后使用图卷积神经网络直接回归网格顶点的三维坐标,而不是回归人体姿势参数,这样就避免了回归...     

基于空间图卷积的三维点云语义分割

随着科技智能化建设需求的提高,语义分割技术受到图形、图像领域内学者的广泛关注,其为目标跟踪、视觉控制等技术提供有效的决策支持。然而三维点云语义分割模型的运行效率和分割准确率是限制其发展的瓶颈所在。基于此,提出一种基于空间图卷积的三维点云语义分割网络（PCGCN）。PCGCN采用边缘图卷积网络提取局部特征,并使用残差网增强特征的传递,对不同尺度的局部特征进行融合并参与三维点云语义分割。PCGCN解决了在深度学习过程中因局部特征丢失产生的语义分割效果不佳的问题,同时,点云深度学习网络中,残差网的引入提高语义分割的准确度。在ShapeNet和S3DIS数据集上进行实验,实验结果表明,PCGCN在ShapeNet数据集的准确率达到85.1%,在S3DIS数据集的准确率达到81.3%。     

基于注意力机制和稀疏图卷积的行人轨迹预测

行人轨迹预测能够有效降低行人轨迹突变造成的碰撞风险,在智能交通及监控系统等领域有着广泛应用。目前已有的研究大多利用无向图卷积网络对行人间的社会交互关系进行建模,这种方法缺少对行人隐藏状态关联性的考虑,容易产生行人间的冗余交互。针对这一问题,提出一种基于注意力机制和稀疏图卷积的行人轨迹预测模型（DASGCN）,通过构建深度注意力机制,捕捉行人间运动隐藏状态的关联性,从而准确地提取行人运动状态特征。进一步提出自调节稀疏方法,减小冗余信息带来的运动轨迹偏差,解决行人密集无向交互的问题。将所提模型在ETH和UCY数据集上进行验证,其平均位移误差（ADE）和最终位移误差（FDE）分别达到0.36和0.63。实验结果表明,DASGCN对行人轨迹的预测能力要优于传统算法。     

基于图卷积网络的基站用户数量预测

移动网络用户预测建模有助于发现城市人群时空分布特征和实行合理资源调度策略。随着移动网络的快速发展,移动通信基站产生了大量手机信令信息,为数据驱动建模提供了支撑。传统的时序预测只考虑时序特征而忽略了空间上的关联。针对这一问题,提出一种基于图卷积网络(Graph Convolutional Network, GCN)的基站用户数量预测模型。利用GCN获取基站之间的空间关联特征,通过长短时记忆(Long Short-Term Memory, LSTM)网络对时序特征进行建模。通过进行对比实验和消融实验,证明该模型能够有效提取基站用户数量的时空特征,相对传统方法具有更优的性能。     

基于图卷积神经网络的高校评教文本垃圾识别模型

目前,高校的学生评教与专家评教,是考核、评价教师的重要依据之一.虽然大多数高校有自己的评教系统,但鲜有高校能将评教的数据合理有效地利用,甚至有些评教内容以偏概全、不切实际,质量难以量化教师的真实情况.本文旨在利用图卷积神经网络模型,充分考虑评教学生对教师评价的图形拓扑关系,深度挖掘评价者与被评价者的特征信息,从而进行准...     

基于多通道的边学习图卷积网络

通常图的边包含了图的重要信息，然而目前大多数用于图学习的深度学习模型（如图卷积网络（graph convolutional network，GCN）和图注意力网络（graph attention network，GAT））没有充分利用多维边特征的特性；另一个问题是图中可能存在噪声，影响图学习的性能。使用多层感知机对图数据进行去噪优化处理，在GCN的基础上引入了多通道学习边特征的方法，对图的多维边属性进行编码，按原始图所包含的属性分别建模为多通道，每个通道对应一种边特征属性对图节点进行约束训练，可以让算法更合理地学习图中多维边特征，在Cora、Tox21、Freesolv等数据集上的实验证明了去噪方法与多通道方法的有效性。     

基于图卷积神经网络的胸部放射影像疾病分类方法北大核心CSCD

医学X射线作为胸部疾病的常规检查手段,可以对早期不明显的胸部疾病进行诊断,并且观察出病变部位。但是,同一张放射影像上呈现出多种疾病特征,对分类任务而言是一个挑战。此外,疾病标签之间存在着不同的对应关系,进一步导致了分类任务的困难。针对以上问题,本文将图卷积神经网络(graph convolutional neural network,GCN)与传统卷积神经网络(convolutional neural network,CNN)相结合,提出了一种将标签特征与图像特征融合的多标签胸部放射影像疾病分类方法。该方法利用图卷积神经网络对标签的全局相关性进行建模,即在疾病标签上构建有向关系图,有向图中每个节点表示一种标签类别,再将该图输入图卷积神经网络以提取标签特征,最后与图像特征融合以进行分类。本文所提出的方法在ChestX-ray14数据集上的实验结果显示对14种胸部疾病的平均AUC达到了0.843,与目前3种经典方法以及先进方法进行比较,本文方法能够有效提高分类性能。     

基于轻量图卷积增强嵌入学习的点击率预测模型

基于特征交互建模方法的点击率预测问题经广泛探索已经取得较大进展,它能缓解有效信息损失,但在一定程度上依赖于不同特征的共同出现,存在特征稀疏问题.因此,针对交互过程特征出现次数少不能高效学习特征表示的问题,提出了一个基于轻量图卷积增强嵌入层学习的点击率预测模型LGCDFM(LightGCN with DeepFM).在初...     

基于面部关键点和图卷积的表情识别方法

针对现有人脸表情识别方法对于面部细节处的局部特征关注度不足的问题,提出了基于面部关键点和图卷积的人脸表情识别方法CGNet。CGNet将面部图像按面部器官进行分割得到多个分割图像,提取分割图像的多尺度特征并引入空间注意力机制提取细节信息,提升网络对于面部细节的关注度;提取人脸关键点,利用图卷积网络提取出人脸面部的结构信息,提升网络对高维度特征的表示能力。实验结果表明,CGNet是一种高效的表情识别算法,能够获得更有效的面部特征,提高识别准确率。