基于多头类特定残差注意力和图卷积的多标签图像分类算法

针对ML-GCN中全局最大池化所获得的图像特征对特定类别在不同图像区域上缺乏针对性和丢失图像局部特征信息的问题,提出了类特定残差注意力(CSRA)模块.该模块可以有效捕获不同类别对象所占据的不同空间区域.此外,将提出的类特定残差注意力与图卷积神经网络相结合,提出了基于多头类特定残差注意力与图卷积的多标签图像分类算法(ML-CSRA).首先利用卷积神经网络提取通用的图像特征图,之后将提出的类特定残差注意力扩展为多头形式,并将其应用于通过卷积神经网络提取到的通用图像特征图,提取各个区域对应不同类别的特征.最后将图卷积神经网络提取的标签相关特征与多头类特定残差注意力提取的图像特征结合,得到最后的多标签图像分类结果.在MS-COCO 2014和VOC-2007数据集上的实验结果表明提出算法在所有评估指标上都优于目前已有算法.     

基于光谱注意力图卷积网络的高光谱图像分类

近年来,图卷积网络因其特征聚合的机制,能够同时对单个节点以及近邻节点的特征进行表示,被广泛应用于高光谱图像的分类任务。然而,高光谱图像(HSI)中常存在波段冗余、同物异谱等问题,使得直接利用原始光谱特征构建的初始图可靠性不足,从而导致高光谱图像的分类精度低。为此,该文提出一种基于光谱注意力图卷积网络(SAGCN)的高光谱图像半监督分类方法。首先,利用注意力模块对光谱的局部与全局信息进行交互,以增加重要光谱的权重、减小冗余波段以及噪声波段的权重,从而实现光谱的自适应加权;然后,针对光谱加权处理后的高光谱图像,通过空间-光谱相似性度量构建更为准确的近邻矩阵;最后,通过图卷积对标记和无标记样本进行有效的特征聚合,并使用标记样本的聚合特征训练网络。在Indian Pines, Kennedy Space Center和Botswana 3个真实高光谱图像数据集上的实验结果验证了所提方法的有效性。     

基于多流空间注意力图卷积SRU网络的骨架动作识别

基于骨架的动作识别越来越受到重视.针对现有算法推理速度慢、数据模式单一等问题,本文提出了一种轻量且高效的方法.该网络在简单循环单元（Simple Recurrent Unit,SRU）中嵌入图卷积算子构建图卷积SRU(GCSRU)模型,来捕获数据的时空域信息.同时,为了加强节点间的区分,采用空间注意力网络和多流数据融合方式,将GC-SRU拓展成多流空间注意力图卷积SRU(MSAGC-SRU).最后,在公开数据集上进行实验分析.结果表明,本文方法在Northwestern-UCLA上的分类准确率达到了93.1%,模型FLOPs为4.4 G;NTU RGB+D上的分类准确率在CV、CS评估协议下分别达到92.7%和87.3%,模型FLOPs为21.3 G,达到了计算效率和分类精度的良好平衡.     

基于关系图卷积神经网络的多标签事件预测

事件预测需要综合考虑的要素众多,现有预测模型多数存在数据稀疏、事件的组合特征及时序特征考虑不足、预测类型单一等问题。为此,提出了基于关系图卷积神经网络的多标签事件预测方法,通过节点特征聚合技术实现数据的稠密化表示。模型利用卷积神经网络的卷积和池化运算,提取预测数据的组合时间段特征信息,并结合长短期记忆网络的时序特征提取能力,进一步提取预测数据的时序规律特征;最后,模型通过全连接的多标签分类器,输出多种类型事件发生的概率值。实验结果表明,所提模型可以支持进行多日期、多类型事件预测,在特定数据集上最高F1值可以达到0.85。     

基于多尺度图卷积的高光谱图像分类

近年来,卷积神经网络在高光谱图像分类领域取得了显著的进步,但是其只能对图像进行规则格网运算,不能自适应的进行特征聚合。因此,本文提出了一种基于分段森林的多尺度图卷积神经网络的高光谱图像分类方法,主要有四个步骤:首先使用主成分分析进行降维,根据图像的空间信息构建多尺度的分段森林,建立子树之间关系;然后提出了一种基于图卷积网络的U net模型架构,通过池化和解池化建立多个尺度之间的图结构特征的转换;网络通过图卷积神经网络进行自适应的特征聚合,并在编码器和解码器之间采用跳层连接融合了多尺度特征;最后通过SoftMax进行节点的半监督分类。实验在公开的高光谱数据集上进行了验证,均取得了较好的分类精度,表明了该方法的有效性。     

双路注意力引导图卷积网络的关系抽取

为了更好地学习节点依赖并利用结构信息,本文提出一种以完全依赖树作为直接输入的新方法,利用图卷积网络并结合两个并行的注意力模块,自主学习如何有选择地关注对关系抽取任务有用的信息.该方法将样本表示成图上的各节点,一个模块用于计算节点特征位置之间的影响,使特征向量可以包含更广范围的语义信息,另一个用于计算节点依赖的关系特征,...     

融合注意力机制的多标签文本分类

多标签文本分类的结果很大程度上受到标签相关性的影响.为了更加细致地处理标签相关性问题,提出一种融合注意力机制的多标签文本分类方法.首先,将文本和标签预处理后,对标签输入采用两种不同的嵌入方式提取特征;其次,运用注意力机制处理信息,针对文本和标签信息,自注意力机制进行特征处理,标签注意力机制和交互注意力机制进行依赖关系处理,进而得到两种不同状态下的表示方式;最后,通过两次融合,充分表示文本标签信息,得到较好的标签分类结果.实验结果显示,较之于基线方法,在精度和归一化折损累计增益上,该方法数据总体有所提高.由此,该方法可以有效地融合文本和标签信息,缓解标签相关性问题,有利于提升多标签文本分类任务性能.     

基于自适应差异化图卷积的图注意力网络表示学习算法

为解决传统图卷积网络在处理节点间复杂关系时存在的局限性,提出一种基于自适应差异化图卷积的图注意力网络表示学习算法。采用差异化图卷积网络,依据每个节点自身特征和邻居信息进行差异化采样,捕捉节点间的复杂关系;再结合二阶段关键相邻采样方式优先挖掘重要节点并保留随机性,完成关键邻居节点的采样;然后结合图注意力网络,通过局部关注和自适应学习权重分配将关键邻居节点特征聚合到自身节点上,增强节点的特征表示;最后经网络训练,进一步增强网络表示学习能力。实验结果表明,所提出的算法优化了节点聚合程度和边界清晰度,提高了节点分类的准确性和可视化效果,并且通过关注二阶邻居和使用双头注意力,在网络表示学习上也展现出了优越性能。     

基于多尺度图卷积上下文特征聚合的遥感场景分类方法

针对当前遥感场景分类方法未充分利用多尺度信息与上下文信息,使得场景分类性能受限的问题,提出了一种基于图卷积网络的多尺度上下文特征聚合模型。首先,在图像特征提取模块中通过主干网络提取遥感图像的多层级特征与全局特征;其次,在上下文信息增强模块中基于图卷积网络学习不同层级特征的上下文信息;然后,在多尺度特征聚合模块中设计渐进式跨层注意力方法对不同层级特征间的关联信息进行建模,以减少特征间差异并实现特征聚合;最后,融合全局特征与聚合特征实现场景分类,同时采用标签平滑损失以增强模型泛化性。在数据集AID与NWPURESISC45中的实验结果验证了所提方法的有效性,并且取得较好的场景分类效果。     

基于面部关键点和图卷积的表情识别方法

针对现有人脸表情识别方法对于面部细节处的局部特征关注度不足的问题,提出了基于面部关键点和图卷积的人脸表情识别方法CGNet。CGNet将面部图像按面部器官进行分割得到多个分割图像,提取分割图像的多尺度特征并引入空间注意力机制提取细节信息,提升网络对于面部细节的关注度;提取人脸关键点,利用图卷积网络提取出人脸面部的结构信息,提升网络对高维度特征的表示能力。实验结果表明,CGNet是一种高效的表情识别算法,能够获得更有效的面部特征,提高识别准确率。     

基于混合图卷积网络模型的节点分类方法

随着互联网和大数据的发展,近年来图表征学习(Graph Representation Learning)受到了广泛关注。图表征学习将图中每一个节点都映射到一个低维向量空间,并且在此空间内保持原有图的结构信息,常常应用于节点分类、链路预测以及社群发现等任务。图卷积网络(Graph Convolutional Networks,GCN)和图注意力网络(Graph Attention Networks,GAT)是基于神经网络的图表征学习方法。GCN模型假设图中所有的边都具有相同的权重,所以认为图中节点间互联的强弱关系是一致的,这是不合理的。虽然GAT模型引入了多个注意力矩阵来学习图中相邻节点之间的重要性,但增加了计算复杂性。因此,提出了一种基于混合图卷积网络模型(GCN Mixture Model,GCN-MM)的方法。该方法充分利用GCN模型与GAT模型各自的优点,结合了图中节点的相邻相似性、结构相似性以及特征多样性。在公共数据集CORA、CITESEER、PUBMED的半监督任务中,它相比GAT模型有效减少了模型的可调整参数数量和训练耗时,同时不影响精度。在CORA和PUBMED数据集的...     

基于空间注意力的图像分类网络研究

针对以往的图像分类方法利用手工提取的特征（或通过神经网络提取的特征）、空间信息关注不足等问题,文章提出一种基于空间注意力的图像分类网络。该网络利用空间注意力模块,对深度网络提取的视觉特征进行空间约束。利用特征的空间信息,使得网络能够对特征在空间上的重要性加以区分,从而使其更具判别性。采用CIFAR-10和CIFAR-100测试集分别进行测试,测试结果表明,该文提出的图像分类网络的图像分类效果明显优于其他深度学习方法。     

基于图卷积网络的服装评价信息分类问题的研究

随着互联网的快速发展以及电子设备的逐渐普及,越来越多的人选择在网上购物,买家在购买商品之后,可以通过平台提供的评价系统表达自己对服装产品的感受,因此会产生大量的服装评价信息.由于这些评价信息的标签是通过人工选择的,会受到外在因素的影响,所以具有不确定性.这些不确定性产生的误差会影响到平台以及其他用户对服装产品的评判.针...     

基于轻量级图卷积网络的校园暴力行为识别

针对卷积神经网络和图卷积网络的两类算法在校园暴力行为识别中识别速度和识别率不高的问题,本文提出一种结合多信息流数据融合和时空注意力机制的轻量级图卷积网络。以人体骨架为研究对象,首先融合关节点和骨架相关的多信息流数据,通过减少网络参数量来提高运算速度;其次构建基于非局部运算的时空注意力模块关注最具动作判别性的关节点,通过减少冗余信息提高识别准确率;接着构建时空特征提取模块获得关注关节点时空关联信息;最终由Softmax层实现动作识别。实验结果表明：在校园安防实景中对拳打、脚踢、倒地、推搡、打耳光和跪地6种典型动作识别准确率分别为94.5%,97.0%,98.5%,95.0%,94.5%,95.5%,识别速度最大为20.6fps。在UCF101数据集上对比两类基准网络,识别速度和准确率均有提升,验证了方法对其他动作的通用性,可以满足对校园典型暴力行为识别的实时性和可靠性要求。     

基于深度知识图卷积网络的推荐算法

图神经网络在基于知识图嵌入的推荐算法中面临数据稀疏和模型过平滑问题,而导致推荐系统难以捕捉用户潜在的长期偏好。针对该问题,提出了一种基于深度知识图卷积网络的推荐算法。首先,在利用历史交互数据构建知识图谱的基础上,通过随机采样过程来获得知识图谱的多个视图以缓解交互数据稀疏的问题。其次,在知识图卷积操作过程中引入残差连接以缓解过平滑问题,从而构建一种深度知识图卷积网络以捕获高阶邻居信息并获得用户潜在的远程兴趣。同时,为了避免深层图卷积网络带来噪声输入问题,利用图自注意力机制对深层特征表示进行提纯。为验证模型的可行性和有效性,在3个真实数据集上进行了大量实验。实验结果表明,所提出的模型能够有效缓解过度平滑问题。在这3个数据集中,模型的ROC曲线下的面积(Area Under Curve, AUC,记为A_UC)分别达到了0.974、0.812和0.732,相较于现有方法,模型的推荐准确度明显提升。     

基于双文本提示和多重相似性学习的多标签遥感图像分类

多标签遥感图像分类旨在预测遥感图像中出现的多个相互关联的对象,其中文本标签能赋予丰富的语义信息。然而,目前多数多标签图像分类法未能充分考虑视觉语义图像-文本对信息。为了解决这一问题,提出了一种基于双文本提示和多重相似性（Bi-text Prompts and Multi-similarity,BTPMS）学习的多标签遥感图像分类算法。该算法首先利用场景与对象标签文本的双文本提示（Bi-text Prompts,BTP）提供丰富的先验知识,再综合考虑场景与对象标签之间的关联,对所得的文本特征和图像特征计算多重相似性,最后利用相似性得分进行多标签遥感图像分类。此外,设计了新颖的局部特征注意力（Local Feature Attention,LFA）模块,从空间与通道维度上捕捉图像中局部结构。在两个基准遥感数据集上进行广泛实验,结果表明所提算法优于对比的多标签图像分类方法。     

基于多尺度和注意力模型的红外与可见光图像融合

针对红外与可见光图像在融合后容易出现伪影,小目标轮廓不清晰等问题,提出一种基于多尺度特征与注意力模型相结合的红外与可见光图像融合算法。通过5次下采样提取源图像不同尺度的特征图,再将同一尺度的红外与可见光特征图输入到基于注意力模型的融合层,获得增强的融合特征图。最后把小尺度的融合特征图进行5次上采样,再与上采样后同一尺度的特征图相加,直到与源图像尺度一致,实现对特征图的多尺度融合。实验对比不同融合框架下融合图像的熵、标准差、互信息量、边缘保持度、小波特征互信息、视觉信息保真度以及融合效率,本文方法在多数指标上优于对比算法,且融合图像目标细节明显轮廓清晰。     

基于小波变换多尺度积的图像融合算法

图像融合是图像处理中的关键技术之一。它在军事和民用图像处理领域获得了广泛的应用。提出了一种新的基于小波变换多尺度积的图像融合算法,小波变换多尺度积具有放大信号边缘特征和降低信号噪声的特点,有利于在融合图像中保持图像的细节特征。利用统计分析的评判准则,如熵、标准偏差评价图像的融合效果。实验结果表明该方法提高了图像的熵和标准偏差。在保留原图像信息的情况下增强了融合图像的细节信息。     

基于图卷积神经网络的人体三维重建

针对在人体三维重建任务中人体模型姿势参数的回归会出现不连续性或周期性的问题,以及生成的模型往往不能展现丰富的人体表面细节的问题.本文尝试使用神经网络从输入的原始图像中提取丰富的人体特征,并将所得特征融合到标准人体模型的网格顶点上,然后使用图卷积神经网络直接回归网格顶点的三维坐标,而不是回归人体姿势参数,这样就避免了回归...     

基于图卷积网络的三维点云分类分割模型

针对PointNet模型只针对孤立点提取特征信息,而对邻域结构的信息提取能力不足的问题,提出基于图卷积网络的三维点云分类分割模型GraphPNet.首先将三维点云转换成无向图结构,利用该图结构得到点云的邻域信息,通过将邻域信息与单个点信息融合的方式提高分类与分割的准确率.在分类实验中,本文在ModelNet40数据集上...