从图卷积网络到图散射网络：回顾与展望

在图像与图形处理中,非欧氏空间数据与传统欧氏空间数据共同构成了数据的不同表达形式。随着面向图像、音频等传统信号的处理技术已经发展了数十年并趋于成熟,诸如图等非欧氏空间数据的兴起,对非欧氏空间的数据处理提取提出了更高的要求。图卷积网络的出现将面向传统信号的深度学习网络模型和卷积操作拓展到了图上,在一定程度上解决了学术界和工业界对图信号处理的需求。然而,空域特征聚合的图卷积网络容易产生过平滑问题。本文回顾了从图卷积网络到图散射网络的发展进程,分别梳理空域图卷积网络和谱域图卷积网络;并以图卷积网络为桥梁引出了图散射网络,比较和总结了图散射网络的前沿的理论和方法。传统的谱域图卷积网络虽然可以通过滤波器设计避免过平滑问题,但由于可训练参数较少、输出特征比较单一,往往存在表达能力不足的问题。图散射网络的提出很好地解决了图卷积网络中存在的问题。一方面,图散射变换将面向传统信号的散射变换操作拓展到图信号处理上,通过多尺度小波分解提取图信号的多分辨率特征,在保证网络稳定性的前提下解决了空域图卷积网络的特征过平滑问题;另一方面,相较于传统的谱域图卷积网络,图散射网络输出能够提取多尺度带通特征,增强模型的表...     

医学图像图深度学习分割算法综述

精准分割医学图像中的器官或病灶,是医学图像智能分析领域的重要难题,其在临床上对于疾病的辅助诊疗有着重要应用价值。在解决医学图像信息表征及对非欧空间生理组织结构准确建模等挑战性问题方面,基于图深度学习的医学图像分割技术取得了重要突破,展现出显著的信息特征提取及表征优势,可获得更为精准的分割结果,已成为该领域新兴研究热点。为更好促进医学图像图深度学习分割算法的研究发展,对该领域的技术进展及应用现状做了系统的梳理总结。介绍了图的定义及图卷积网络的基本结构,详细阐述了谱图卷积和空域图卷积操作。根据GCN结合残差模块、注意力机制模块及学习模块三种技术结构模式,归纳并总结了其在医学图像分割中的研究进展。对图深度学习算法在医学图像分割领域的应用和发展做了概要总结和展望,为该领域的技术发展提供参考和新的研究思路。     

图网络层级信息挖掘分类算法综述

深度学习作为人工智能的一个研究分支发展迅速,而研究数据主要是语音、图像和视频等,这些具有规则结构的数据通常在欧氏空间中表示。然而许多学习任务需要处理的数据是从非欧氏空间中生成,这些数据特征和其关系结构可以用图来定义。图卷积神经网络通过将卷积定理应用于图,完成节点之间的信息传播与聚合,成为建模图数据一种有效的方法。尽管图卷积神经网络取得了巨大成功,但针对图任务中的节点分类问题,由于深层图结构优化的特有难点——过平滑现象,现有的多数模型都只有两三层的浅层模型架构。在理论上,图卷积神经网络的深层结构可以获得更多节点表征信息,因此针对其层级信息进行研究,将层级结构算法迁移到图数据分析的核心在于图层级卷积算子构建和图层级间信息融合。本文对图网络层级信息挖掘算法进行综述,介绍图神经网络的发展背景、存在问题以及图卷积神经网络层级结构算法的发展,根据不同图卷积层级信息处理将现有算法分为正则化方法和架构调整方法。正则化方法通过重新构建图卷积算子更好地聚合邻域信息,而架构调整方法则融合层级信息丰富节点表征。图卷积神经网络层级特性实验表明,图结构中存在层级特性节点,现有图层级信息挖掘算法仍未对层级特性节点的...     

基于图卷积神经网络的文本分类方法研究综述

文本分类是自然语言处理领域中常见的任务,机器学习和深度学习在该任务中已有较多研究并取得了很大进展,然而,这些传统方法只能处理欧氏空间的数据,不能完全有效地表达出文本的语义信息。为了打破传统的学习模式,诸多研究开始尝试用图表示文本中各实体间的丰富关系,并利用图卷积神经网络学习文本表示。文中对基于图卷积神经网络的文本分类方法进行了综述,首先概述了图卷积神经网络的背景与原理;其次,利用不同类型的图网络详细阐述了基于图卷积神经网络的文本分类方法,同时分析了图卷积神经网络在网络深度上的局限性,并介绍了深层网络在文本分类任务上的最新进展;最后,通过实验比较了各模型的分类性能,并探讨了该领域的难点与未来的发展方向。     

基于重构误差的同构图分类模型

目前深度学习方法应用于图分类模型的重点集中在将卷积神经网络迁移到图数据领域,包括重定义卷积层和池化层。卷积操作泛化到图数据上是有效的方法,但无论是卷积还是池化都存在较大的改进空间,尤其是在提取网络拓扑结构信息方面。提出一种基于重构误差的同构图分类模型,一方面利用改进的同构图卷积网络WaveGIC增强提取拓扑结构信息能力;另一方面利用多重注意力机制表征全图,使得模型能够关注关键节点信息。由于网络加深过程,局部拓扑结构的特征表达越来越不明显。在分类损失基础上添加重构误差损失,使分类器同时考虑图的节点特征和拓扑结构。在基准数据集上的实验结果表明,提出的方法具有较高的图分类准确度。     

应用于材料图像分割的Graph-UNet

小样本材料图像分割是图像分割领域的研究难点之一。材料图像的微观结构大多数形状各异、纹理复杂且边界模糊,会导致材料图像的分割不准确。Graph-UNet被提出融合U-Net和图卷积神经网络来解决小样本材料图像自动分割的挑战,它将卷积神经网络的多维特征融合和跳跃连接的思想迁移到图卷积神经网络中实现图卷积和图注意力的有效结合,并且建立了一个通用的模块实现特征图和图结构相互转换。在材料图像数据集上进行了对比和消融实验,证明了Graph-UNet的分割结果优于很多先进方法,准确地识别了多种材料结构,推动了探究材料结构和性能关系的发展。     

图像分类的深度卷积神经网络模型综述

图像分类是计算机视觉中的一项重要任务,传统的图像分类方法具有一定的局限性。随着人工智能技术的发展,深度学习技术越来越成熟,利用深度卷积神经网络对图像进行分类成为研究热点,图像分类的深度卷积神经网络结构越来越多样,其性能远远好于传统的图像分类方法。本文立足于图像分类的深度卷积神经网络模型结构,根据模型发展和模型优化的历程,将深度卷积神经网络分为经典深度卷积神经网络模型、注意力机制深度卷积神经网络模型、轻量级深度卷积神经网络模型和神经网络架构搜索模型等4类,并对各类深度卷积神经网络模型结构的构造方法和特点进行了全面综述,对各类分类模型的性能进行了对比与分析。虽然深度卷积神经网络模型的结构设计越来越精妙,模型优化的方法越来越强大,图像分类准确率在不断刷新的同时,模型的参数量也在逐渐降低,训练和推理速度不断加快。然而深度卷积神经网络模型仍有一定的局限性,本文给出了存在的问题和未来可能的研究方向,即深度卷积神经网络模型主要以有监督学习方式进行图像分类,受到数据集质量和规模的限制,无监督式学习和半监督学习方式的深度卷积神经网络模型将是未来的重点研究方向之一;深度卷积神经网络模型的速度和资源消耗仍不尽人意,应用于移动式设备具有一定的挑战性;模型的优化方法以及衡量模型优劣的度量方法有待深入研究;人工设计深度卷积神经网络结构耗时耗力,神经架构搜索方法将是未来深度卷积神经网络模型设计的发展方向。     

基于类金字塔图残差网络的图像超分辨率重建

针对基于深度学习的图像超分辨率重建算法大多侧重于从大量外部训练数据中学习,而忽视图像本身的内部知识以及过于关注局部特征的问题,提出一种基于类金字塔图残差网络的图像超分辨率重建算法.首先,该算法构建的残差图卷积结构利用一种预生成图结构的方式将提取的特征图转换为预生成图结构的顶点来构成图结构数据,从而通过图卷积来学习特征自身内部的拓扑结构,同时使用残差学习适度地加深图卷积网络以提高重建性能;其次,该算法构建的类金字塔多空洞卷积结构,通过充分利用不同大小的感受野,避免了不能完全覆盖所有像素点的缺陷,更好地融合不同尺度的特征信息;最后,经过大量实验验证,所提出的算法显著优于主流超分辨率方法,有着更好的客观和主观度量结果.     

面向推荐系统的图卷积网络

图卷积网络是一种针对图信号的深度学习模型,由于具有强大的特征表征能力得到了广泛应用.推荐系统可视为图信号的链接预测问题,因此近年来提出了使用图卷积网络解决推荐问题的方法.推荐系统中存在用户与商品间的异质顶点交互和用户(或商品)内部的同质顶点交互,然而,现有方法中的图卷积操作要么仅在异质顶点间进行,要么仅在同质顶点间进行,留下了提升此类推荐系统性能的空间.考虑到这一问题,提出了一种新的基于图卷积网络的推荐算法,使用两组图卷积操作同时利用两种不同的交互信息,其中异质顶点卷积用于挖掘交互图谱域中存在的连接信息,同质顶点卷积用于使相似顶点具有相近表示.实验结果表明,该算法比现有算法具有更优的精度.     

卷积神经网络在生物医学图像上的应用进展

生物医学成像领域的迅速发展引起相关图像信息的爆炸式增长,对其图像进行人工智能辅助分析日益成为科学研究、临床应用、即时诊断等领域的迫切需求。近年来深度学习,尤其是卷积神经网络在生物医学图像分析领域取得广泛应用,在生物医学图像的信息提取,包括细胞分类、检测,生理及病理图像的分割、检测等领域发挥日益重要的作用。介绍了深度学习及卷积神经网络相关技术的发展;重点针对近几年卷积神经网络在细胞生物学图像、医学图像领域的应用进展进行了梳理;对卷积神经网络在生物医学图像分析领域研究目前存在的问题及可能的发展方向进行了展望。     

融合关系特征的半监督图像分类方法研究

半监督深度学习模型具有泛化能力强,所需样本数较少等特点,经过10多年的发展,在理论和实际应用方面都取得了巨大的进步,然而建模样本内部“隐含”关系时模型缺乏解释性以及构造无监督正则化项难度较大等问题限制了半监督深度学习的进一步发展。针对上述问题,从丰富样本特征表示的角度出发,构造了一种新的半监督图像分类模型—融合关系特征的半监督分类模型（semi-supervised classification model fused with relational features,SCUTTLE）,该模型在卷积神经网络模型(convolutional neural networks,CNN)基础上引入了图卷积神经网络(graph convolutional networks,GCN),尝试通过GCN模型来提取CNN模型各层的低、高级特征间的关系,使得融合模型不仅具有特征提取能力,而且具有关系表示能力。通过对SCUTTLE模型泛化性能进行分析,进一步说明了该模型在解决半监督相关问题时的有效性。数值实验结果表明,三层CNN与一层GCN的融合模型在CIFAR10、CIFAR100、SVHN 3种数据集上与CNN监督学习模型的精度相比均可提升5%~6%的精度值,在最先进的ResNet、DenseNet、WRN（wide residual networks）与GCN的融合模型上同样证明了本文所提模型的有效性。     

基于随机传播图卷积模型的零样本图像分类

零样本图像分类旨在识别训练时从未出现过的全新类别(未见类别),为此需要利用辅助信息建模未见类和可见类之间的关系。利用图卷积网络(GCN)进行零样本分类的模型可以借助知识图显式地表达类别之间的关系,但 GCN 易受过平滑影响,导致模型性能下降。针对此问题提出了基于随机传播图卷积模型的零样本图像分类方法。该方法使用随机传播机制处理原始特征以达到特征扰动和数据扩增的目的;利用数据中类别层级生成的知识图建模类别之间的语义关系。其中,图中节点代表类别,节点间的边代表类别之间的关系。再构建 GCN对处理后的特征进行训练,从节点中输出包含未见类别的分类器参数,进而实现零样本图像分类。实验结果表明,该方法可以有效地改善零样本图像分类中的时间消耗、分类精度和泛化性能。     

结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务.通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果.但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题.提出一种新的模型,利用双向长短时记...     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

基于路径签名的改进时空图卷积网络

针对时空图卷积网络ST-GCN中GCN的关节邻接图不易学习远端关节之间的语义信息和TCN在描述时间信息方面存在不足的问题,引入了数字签名预处理来增强数据,提出了基于路径签名的改进时空图卷积网络SSIT-GCN。首先将关节位置坐标的时间序列输入签名层进行数据预处理,在该层时间序列通过嵌入算法被转换为多维路径,将其划分为多条路径并计算每条路径的签名特征;其次重新设计GCN的关节邻接矩阵,并用反卷积来代替补零,以保持TCN的尺寸不变,还引入1×1的卷积核增加非线性来改进ST-GCN,得到改进时空图卷积网络SIT-GCN;最后用签名特征代替原始数据输入SIT-GCN,得到最终的输出结果。实验结果表明,基于路径签名的改进时空图卷积网络大大提高了训练精度,缩短了训练时间,对动态手势识别有较好的识别能力和识别速度。     

基于深度可分离卷积和宽残差网络的医学影像超分辨率重建

为提高医学影像超分辨率的重建质量,提出了一种基于深度可分离卷积的宽残差超分辨率神经网络算法。首先,利用深度可分离卷积改进网络的残差块,扩宽残差块中卷积层的通道,将更多的特征信息传入了激活函数,使得网络中浅层低级图像特征更容易地传播到高层,提高了医学影像超分辨率的重建质量;然后,采用组归一化的方法训练网络,将卷积层的通道维度划分为组,在每个组内计算归一化的均值和方差,使得网络训练过程更快地收敛,解决了深度可分离卷积扩宽通道数导致网络训练难度增加的问题,同时网络表现出更好的性能。实验结果表明,对比传统的最近邻插值、双三次插值超分辨率算法,以及基于稀疏表达的超分辨率算法,所提算法重建出的医学影像纹理细节更加丰富、视觉效果更加逼真。对比基于卷积神经网络的超分辨率算法,基于宽残差超分辨率神经网络算法和生成对抗网络超分辨率算法,所提算法在峰值信噪比（PSNR）和结构相似性（SSIM）上有显著的提升。     

利用自适应假近邻方法优化卷积神经网络的图像目标分类算法

为了能够在处理不同的数据类型或任务时得到良好的结果,设计了基于自适应假近邻方法的卷积神经网络（CNN）架构。将中心矩的思想应用在CNN的池化操作中,利用稀疏滤波算法实现训练过程的无监督化,并设置CNN算法的卷积掩模（卷积核）的大小和每层卷积单位（CNN神经元）的数量;此外,该架构还利用自适应假近邻方法实现了简化建模和预测等任务。实验结果证实,提出的改进CNN架构的复杂度较低,它可以更快地接受训练并且不易产生过度拟合。     

多通道卷积的图像超分辨率方法

目的 超分辨率技术在实际生活中具有较为广泛的应用。经典的基于卷积神经网络的超分辨率（SRCNN）方法存在重建图像纹理结构模糊以及网络模型训练收敛过慢等问题。针对这两个问题,在SRCNN的基础上,提出一种多通道卷积的图像超分辨率（MCSR）算法。方法 通过增加残差链接,选择MSRA初始化方法对网络权值进行初始化,加快模型收敛;引入多通道映射提取更加丰富的特征,使用多层3×3等小卷积核代替单层9×9等大卷积核,更加有效地利用特征,增强模型的超分辨率重构效果。结果 MCSR迭代4×10⁶次即可收敛,在Set5与Set14数据集上边长放大3倍后的平均峰值信噪比分别是32.84 dB和29.28 dB,与SRCNN相比提升显著。结论 MCSR收敛速度更快,并且可以生成轮廓清晰的高分辨率图像,超分辨率效果更加优秀。