基于空间注意力与图卷积的多标签图像分类算法

针对传统多标签图像分类模型存在难以生成更接近相关标签的高层图像特征,以及因未能利用标签之间的视觉相关性而导致的识别精度不够高等问题,提出了一种基于空间注意力与图卷积的多标签图像分类算法.首先,利用图卷积网络学习标签邻接图特征和使用GLOVE算法,从标签序列获取的标签嵌入;其次,在高层语义信息中引入改进的空间注意力网络以...     

基于图卷积神经网络的胸部放射影像疾病分类方法北大核心CSCD

医学X射线作为胸部疾病的常规检查手段,可以对早期不明显的胸部疾病进行诊断,并且观察出病变部位。但是,同一张放射影像上呈现出多种疾病特征,对分类任务而言是一个挑战。此外,疾病标签之间存在着不同的对应关系,进一步导致了分类任务的困难。针对以上问题,本文将图卷积神经网络(graph convolutional neural network,GCN)与传统卷积神经网络(convolutional neural network,CNN)相结合,提出了一种将标签特征与图像特征融合的多标签胸部放射影像疾病分类方法。该方法利用图卷积神经网络对标签的全局相关性进行建模,即在疾病标签上构建有向关系图,有向图中每个节点表示一种标签类别,再将该图输入图卷积神经网络以提取标签特征,最后与图像特征融合以进行分类。本文所提出的方法在ChestX-ray14数据集上的实验结果显示对14种胸部疾病的平均AUC达到了0.843,与目前3种经典方法以及先进方法进行比较,本文方法能够有效提高分类性能。     

基于残差混合注意力机制的脑部CT图像分类卷积神经网络模型

针对阿尔兹海默症、病变(如脑肿瘤)和健康老化的3类脑部CT图像分类问题,本文提出了一种改进的ResNet-10卷积神经网络模型.该模型在网络的残差映射结构中加入残差混合注意力模块,解决了原模型提取的特征分辨性弱的问题,精确捕捉了脑部组织在CT图像中的位置和内容信息;此外,本文设计了全局平均池化层,简化了模型的复杂度,并在其后引入Dropout机制,缓解了过拟合.在训练阶段,该模型建立了标签平滑交叉熵损失函数,使模型在样本数量有限的情况下仍有较强的泛化能力.系列实验证明了改进后的ResNet-10网络模型在分类脑部CT图像时达到97.47％的分类精度.     

基于双重注意力机制的遥感图像场景分类特征表示方法

针对遥感图像场景分类面临的类内差异性大、类间相似性高导致的部分场景出现分类混淆的问题,该文提出了一种基于双重注意力机制的强鉴别性特征表示方法.针对不同通道所代表特征的重要性程度以及不同局部区域的显著性程度不同,在卷积神经网络提取的高层特征基础上,分别设计了一个通道维和空间维注意力模块,利用循环神经网络的上下文信息提取能力,依次学习、输出不同通道和不同局部区域的重要性权重,更加关注图像中的显著性特征和显著性区域,而忽略非显著性特征和区域,以提高特征表示的鉴别能力.所提双重注意力模块可以与任意卷积神经网络相连,整个网络结构可以端到端训练.通过在两个公开数据集AID和NWPU45上进行大量的对比实验,验证了所提方法的有效性,与现有方法对比,分类准确率取得了明显的提升.     

基于多残差学习与注意力融合的中值滤波检测

针对小尺寸JPEG压缩图像携带有效信息较少、中值滤波痕迹不明显的问题,提出一种基于多残差学习与注意力融合的图像中值滤波检测算法。该算法将多个高通滤波器与注意力模块相结合,获取带权值的多残差特征图作为特征提取层的输入,特征提取层采用分组卷积形式,对输入的多残差特征图进行多尺度特征提取,融合不同尺度的特征信息,同时采用密集连接方式,每一层卷积的输入来自前面所有卷积层的输出和。实验结果表明,针对小尺寸JPEG压缩图像的中值滤波检测,本文算法比现有算法具有更高的检测精度,且能更有效地检测与定位局部篡改区域。     

基于双重注意力机制的遥感图像场景分类特征表示方法

针对遥感图像场景分类面临的类内差异性大、类间相似性高导致的部分场景出现分类混淆的问题,该文提出了一种基于双重注意力机制的强鉴别性特征表示方法。针对不同通道所代表特征的重要性程度以及不同局部区域的显著性程度不同,在卷积神经网络提取的高层特征基础上,分别设计了一个通道维和空间维注意力模块,利用循环神经网络的上下文信息提取能力,依次学习、输出不同通道和不同局部区域的重要性权重,更加关注图像中的显著性特征和显著性区域,而忽略非显著性特征和区域,以提高特征表示的鉴别能力。所提双重注意力模块可以与任意卷积神经网络相连,整个网络结构可以端到端训练。通过在两个公开数据集AID和NWPU45上进行大量的对比实验,验证了所提方法的有效性,与现有方法对比,分类准确率取得了明显的提升。     

基于元学习的图卷积网络少样本学习模型

少样本学习是目前机器学习研究领域的热点和难点.针对现有的少样本学习模型不能有效捕捉数据特征与数据标签之间的联系,造成分类模型泛化能力弱的问题,提出一种基于元学习的原型空间图卷积网络少样本学习模型FSL-GCNPS(Few-Shot Learning of Graph Convolutional Network on Prototype Space).首先,利用卷积神经网络提取多任务数据的特征向量;其次,为了将特征向量映射到原型空间中,根据元学习的训练策略得到特征向量的类原型表达;然后,通过类原型向量和类向量之间的嵌入表示,构建图结构数据,并进行图卷积网络训练、推理.实验结果表明,相较于经典少样本学习方法,FSL-GCNPS模型拥有更好的分类准确率和分类稳定性.同时,在医学图像领域数据集上实验表明,FSL-GCNPS具有很好的跨域适应性.     

结合时空注意力机制和自适应图卷积网络的骨架行为识别

针对骨架行为识别对时空特征提取不充分以及难以捕捉全局上下文信息的问题,研究了一种将时空注意力机制和自适应图卷积网络相结合的人体骨架行为识别方案。首先,构建基于非局部操作的时空注意力模块,辅助模型关注骨架序列中最具判别性的帧和区域;其次,利用高斯嵌入函数和轻量级卷积神经网络的特征学习能力,并考虑人体先验知识在不同时期的影响,构建自适应图卷积网络;最后,将自适应图卷积网络作为基本框架,并嵌入时空注意力模块,与关节信息、骨骼信息以及各自的运动信息构建双流融合模型。该算法在NTU RGB+D数据集的两种评价标准下分别达到了90.2%和96.2%的准确率,在大规模的数据集Kinetics上体现出模型的通用性,验证了该算法在提取时空特征和捕捉全局上下文信息上的优越性。      

多尺度特征融合的膨胀卷积残差网络高分一号影像道路提取

针对全卷积神经网络多次下采样操作导致的道路边缘细节信息损失和道路提取不准确的问题,本文提出了多尺度特征融合的膨胀卷积残差网络高分一号影像道路提取方法。首先,通过目视解译的方法制作大量的道路提取标签数据;其次,在残差网络ResNet-101的各个残差块中引入膨胀卷积和多尺度特征感知模块,扩大特征点的感受野,避免特征图分辨率减小和道路边缘细节特征的损失;然后,通过叠加融合和上采样操作将各个尺寸的道路特征图进行融合,得到原始分辨率大小的特征图;最后,将特征图输入Sigmoid分类器中进行分类。实验结果表明:本文方法的提取精度优于经典全卷积神经网络模型,准确率达到了98%以上,有效保留了道路的完整性及其边缘的细节信息。     

基于门控卷积神经网络的图像超分辨重建算法北大核心CSCD

近年来,卷积神经网络被广泛应用于图像超分辨率领域。针对基于卷积神经网络的超分辨率算法存在图像特征提取不充分,参数量大和训练难度大等问题,本文提出了一种基于门控卷积神经网络(gated convolutional neural network, GCNN)的轻量级图像超分辨率重建算法。首先,通过卷积操作对原始低分辨率图像进行浅层特征提取。之后,通过门控残差块(gated residual block, GRB)和长短残差连接充分提取图像特征,其高效的结构也能加速网络训练过程。GRB中的门控单元(gated unit, GU)使用区域自注意力机制提取输入特征图中的每个特征点权值,紧接着将门控权值与输入特征逐元素相乘作为GU输出。最后,使用亚像素卷积和卷积模块重建出高分辨率图像。在Set14、BSD100、Urban100和Manga109数据集上进行实验,并和经典方法进行对比,本文算法有更高的峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性(structural similarity,SSIM),重建出的图像有更清晰的轮廓边缘和细节信息。     

基于超像素与图卷积神经网络的白细胞分割

白细胞分割是医学图像处理领域的一项富有挑战性的任务,针对目前白细胞分割存在的准确度不高、粘连情况不易分割等问题,将图像的分割转化为区域节点的分类问题,提出基于图卷积神经网络的白细胞分割算法.首先将训练图像经超像素分割得到若干超像素区域,把每个超像素区域作为图的一个节点,并充分利用超像素区域的彩色特征以及空间邻域关系构造稀疏加权图来训练图卷积网络,然后利用训练好的网络对测试图像进行白细胞核、质、背景的三域一次性分类.实验数据表明,本文算法对不同类白细胞均具有较好的分割效果.     

一种基于时空动态图注意力网络的共享出行需求预测方法

基于图卷积神经网络的共享出行需求预测一般采用非时间特定性的静态空间图结构提取非欧氏空间相关性特征,这种方式所构建的城市结构图是一种在不同时间间隔的静态空间图结构,而不能动态提取不同时间间隔的空间相关性特征.针对这一问题,本文提出了一种基于时空动态图注意力网络(Spatial-Temporal Dynamic Graph...     

基于三维图卷积与注意力增强的行为识别模型

针对当前行为识别方法无法有效提取非欧式3维骨架序列的时空信息与缺乏针对特定关节关注的问题,该文提出了一种基于3维图卷积与注意力增强的行为识别模型.首先,介绍了3维卷积与图卷积的具体工作原理;其次,基于图卷积中可处理变长邻居节点的图卷积核,引入3维卷积的3维采样空间将2维图卷积核改进为具有3维采样空间的3维图卷积核,提出一种3维图卷积方法.针对3维采样空间内的邻居节点,通过3维图卷积核,实现了对骨架序列中时空信息的有效提取;然后,为增强对于特定关节的关注,聚焦重要的动作信息,设计了一种注意力增强结构;再者,结合3维图卷积方法与注意力增强结构,构建了基于3维图卷积与注意力增强的行为识别模型;最后,基于NTU-RGBD和MSR Action 3D骨架动作数据集开展了骨架行为识别的研究.研究结果进一步验证了基于3维图卷积与注意力增强的行为识别模型针对时空信息的有效提取能力及识别准确率.     

基于深度学习的驾驶员分心行为识别模型

针对VGG16网络识别驾驶员分心时参数量多、分类准确率低的问题,提出了一种基于多尺度通道的分类模块MCAM.分类模块MCAM包括MCM模块和MSE模块.MCM模块将卷积特征图分离为4个子特征图,使用不同的卷积核对4个子特征图进行空间信息提取,以期提高分类准确率;MSE模块为改进的通道注意力,其使用一维卷积来改进原始通道...     

基于关系图卷积神经网络的多标签事件预测

事件预测需要综合考虑的要素众多,现有预测模型多数存在数据稀疏、事件的组合特征及时序特征考虑不足、预测类型单一等问题。为此,提出了基于关系图卷积神经网络的多标签事件预测方法,通过节点特征聚合技术实现数据的稠密化表示。模型利用卷积神经网络的卷积和池化运算,提取预测数据的组合时间段特征信息,并结合长短期记忆网络的时序特征提取能力,进一步提取预测数据的时序规律特征;最后,模型通过全连接的多标签分类器,输出多种类型事件发生的概率值。实验结果表明,所提模型可以支持进行多日期、多类型事件预测,在特定数据集上最高F1值可以达到0.85。     

多尺度特征融合的壁画多光谱图像颜料3D-CNN分类方法

颜料的分类识别是古代壁画进行保护修复的基础,多光谱成像方法能够无损快速地获取壁画颜料的光谱图像数据并进行分析。传统利用卷积神经网络进行特征提取的算法中连续的卷积和池化操作会丢失壁画多光谱图像的部分特征信息,使得图像细节无法重建,导致分类图像边界不平滑。针对该问题,提出了一种基于多尺度特征融合的三维空洞卷积残差神经网络对壁画多光谱图像进行颜料分类。首先,在卷积核中引入空洞结构提高卷积核的感受野来提取不同尺度信息,避免池化操作所导致的部分特征丢失;其次,使用特征融合的方法融合不同尺度的特征图,增加多尺度特征的结构层次;最后,引入残差学习模块避免网络层数加深导致的梯度消失问题,重建完整的边缘信息。实验结果表明,所提方法在模拟壁画多光谱图像数据集上的总体精度和平均精度分别达到了98.87%和96.89%,与各对照组相比,不仅具有更好的分类精度,而且得到了边界更清晰的分类图像。     

基于深度卷积神经网络的图上半监督极化SAR图像分类算法

为实现在只有少量标记数据情况下的高质量的图像分类,本文提出了一种基于深度卷积神经网络的图上半监督极化SAR图像分类算法.该算法将极化SAR图像建模为无向图,并基于该无向图,定义了包含半监督项,卷积神经网络项和类标光滑项的能量函数.算法所采用的卷积神经网络提取抽象的数据驱动的极化特征.半监督项约束了有标记像素的类标在分类过程中保持不变.类标光滑项约束了像素间类标的光滑性.基于对PauliRGB图像进行超像素分割而产生的初始化类标图,交替迭代优化所定义的能量函数直至其收敛.在两幅真实极化SAR图像上的实验结果表明,该算法达到了优异的分类效果,其性能优于当前已有算法.     

面向细粒度图像识别的通道注意力多分支网络

细粒度图像识别研究的内容是大类下的子类别识别问题,其关键是找到图像中的关键区域并从中提取有效特征.针对现有方法在定位关键区域时无法兼顾准确性和计算量的问题,提出了一种引入高效通道注意力模块的多分支网络.首先,在递归注意力卷积神经网络的基础上引入通道注意力定位图像中目标的位置.然后,用深度超参数化卷积替换传统卷积操作,增加了网络可学习的参数.最后,用改进的注意力部件模块切割出多个图像关键区域部件,以捕捉丰富的局部信息.实验结果表明,本方法在弱监督情况下的识别效果较好,在两个常用细粒度数据集Stanford Cars、Food-101上的识别准确率分别为95.4％和90.6％.     

基于时空图卷积网络的学生在线课堂行为识别

为了有效地识别学生在线课堂行为,提出了一种融合全局注意力机制和时空图卷积 网络的人体骨架行为识别模型。首先在时空图卷积网络的空间图卷积网络和时间卷积网络之 间加入全局注意力模块,空间图卷积网络输出的空间特征图作为注意力模块的输入。其次引 入按时间维度的平均池化和最大池化操作,以增加模型学习全局特征信息的能力。最后用三 个加入注意力机制的时空图卷积神经网络和类激活图(class activation map,CAM),构造对遮挡数据识别能力更强 的丰富激活图卷积网络(RA-GCNv2-A)模型,并通过迁移学习实现学生在线课堂行为识别功 能。 在NTU-RGB+D和NTU-RGB+D120数据集上进行实验验证,与RA-GCNv2模型相比,在NTU-RGB +D 和NTU-RGB+D120数据集上的识别准确率分别提高了(cross-subject,CS)1.3%、(cross-view,CV)1.2%和(cross-subject,CSub)1.6%、 (cross-setup,CSet)1.4%。实验结果表明,提出的方法是一种有效的学生在线课堂 行为识别方法。     

复杂电磁环境下基于信号时频图像的调制识别

为解决调制识别研究中较少考虑到不同信号的特征之间联系性的问题,搭建了卷积神经网络(CNN)来提取信号的彩色时频图对应的特征,并利用时频变换的分析方法,将一维信号处理成彩色时频图,通过卷积神经网络架构提取图像特征;同时为了提升算法在低信噪比下的分类识别准确率,对时频图像的纹理特征进行了特征提取,将提取到的纹理特征与卷积神经网络中提取到的特征进行特征融合。仿真实验结果表明,采用的时频卷积神经网络(TF–CNN)和TF–Resnet网络框架能够达到高精确度信号自动调制识别分类的目的。