深度指导的无监督领域自适应语义分割

为了提高语义分割精度,解决模型在不同数据域上泛化性差的问题,提出基于深度信息的无监督领域自适应语义分割方法.首先,深度感知自适应框架通过捕捉深度信息和语义信息的内在联系,减小不同域之间的差异;然后,设计了一个轻量级深度估计网络来提供深度信息,通过跨任务交互策略融合深度和语义信息,并在深度感知空间对齐源域和目标域的分布差距;最后,提出基于深度信息的域内自适应策略弥合目标域内部的分布差异,将目标域分为子源域和子目标域,并缩小子源域和子目标域分布差距.实验结果表明,所提方法在SYNTHIA-2-Cityscapes和SYNTHIA-2-Mapillary跨域任务上的平均交并比分别为46.7%和73.3%,与同类方法相比,该方法在语义分割和深度估计精度上均有显著提升.     

基于语义分割与深度估计的行车环境实时解析

道路行车环境的实时解析是智能驾驶的关键技术,尽管神经网络在实现语义分割和深度估计上能取得不错的精度,但由于模型参数多、计算量大等问题,导致难以实现实时计算。针对该问题,提出了一个轻量化、高效的特征提取模块和一个综合考虑语义信息和深度信息的特征解码模块,在一个网络中同时完成语义分割和深度估计两个任务。在CityScapes数据集中,语义分割预测结果的mIOU为65.0%、深度估计结果的误差为0.21,并且在单个GPU上推断速度达到了65FPS,满足实时性要求。     

轮廓指导的层级混合多任务全卷积网络

传统的深度多任务网络通常在不同任务之间共享网络的大部分层（即特征表示）.由于这样做会忽视不同任务各自的特殊性，所以往往会制约它们适应数据的能力.提出一种层级混合的多任务全卷积网络HFFCN，以解决CT图像中的前列腺分割问题.特别地，使用一个多任务框架来解决这个问题，这个框架包括：1）一个分割前列腺的主任务；和2）一个回归前列腺边界的辅助任务.在这里，第二个任务主要是用来精确地描述在CT图像中模糊的前列腺边界.因此，提出的HFFCN架构是一个双分支的结构，包含一个编码主干和两个解码分支.不同于传统的多任务网络，提出了一个新颖的信息共享模块，用以在两个解码分支之间共享信息.这使得HFFCN可以：1）学习任务的通用层级信息；2）同时保留一些不同任务各自的特征表示.在一个包含有313个病人的313张计划阶段图片的CT图像数据集上做了详细的实验，实验结果证明了所提的HFFCN网络可以超越现有其他先进的分割方法，或者是传统的多任务学习模型.     

基于编解码卷积神经网络的单张图像深度估计

摘 要：针对传统方法在单目视觉图像深度估计时存在鲁棒性差、精度低等问题,提出一 种基于卷积神经网络(CNN)的单张图像深度估计方法。首先,提出层级融合编码器-解码器网络, 该网络是对端到端的编码器-解码器网络结构的一种改进。编码器端引入层级融合模块,并通过 对多层级特征进行融合,提升网络对多尺度信息的利用率。其次,提出多感受野残差模块,其 作为解码器的主要组成部分,负责从高级语义信息中估计深度信息。同时,多感受野残差模块 可灵活地调整网络感受野大小,提高网络对多尺度特征的提取能力。在 NYUD v2 数据集上完 成网络模型有效性验证。实验结果表明,与多尺度卷积神经网络相比,该方法在精度 δ<1.25 上 提高约 4.4%,在平均相对误差指标上降低约 8.2%。证明其在单张图像深度估计的可行性。     

基于编码器-解码器的半监督图像语义分割

基于深度卷积神经网络的图像语义分割方法需要大量像素级标注的训练数据,但标注的过程费时又费力.本文基于生成对抗网络提出一种编码-解码结构的半监督图像语义分割方法,其中编码器-解码器模块作为生成器,整个网络通过耦合标准多分类交叉熵损失和对抗损失进行训练.为充分利用浅层网络包含的丰富的语义信息,本文将编码器中不同尺度的特征输入到分类器,并将得到的不同粒度的分类结果融合,进而优化目标边界.此外,鉴别器通过发现无标签数据分割结果中的可信区域,以此提供额外的监督信号,来实现半监督学习.在PASCAL VOC 2012和Cityscapes上的实验表明,本文提出的方法优于现有的半监督图像语义分割方法.     

基于深度感知特征提取的室内场景理解

从深度图RGB-D域中联合学习RGB图像特征与3D几何信息有利于室内场景语义分割,然而传统分割方法通常需要精确的深度图作为输入,严重限制了其应用范围。提出一种新的室内场景理解网络框架,建立基于语义特征与深度特征提取网络的联合学习网络模型提取深度感知特征,通过几何信息指导的深度特征传输模块与金字塔特征融合模块将学习到的深度特征、多尺度空间信息与语义特征相结合,生成具有更强表达能力的特征表示,实现更准确的室内场景语义分割。实验结果表明,联合学习网络模型在NYU-Dv2与SUN RGBD数据集上分别取得了69.5%与68.4%的平均分割准确度,相比传统分割方法具有更好的室内场景语义分割性能及更强的适用性。     

基于三重交互关注网络的医学图像分割算法

深度学习由于强大的特征提取能力,在克服类不平衡问题上具有一定优势,但分割精度和效率仍需提升.针对此问题,文中提出基于三重交互关注网络的医学图像分割算法.设计三重交互关注模块,并嵌入特征提取过程,通过对特征的通道维度和空间维度联合关注,充分捕获跨维度交互信息,有效聚焦重要特征,突出目标位置.此外,采用像素位置感知损失,进...     

基于图卷积网络的无监督跨模态哈希检索算法

针对无监督跨模态检索任务中不能充分利用单个模态内的语义关联信息的问题,提出了一种基于图卷积网络的无监督跨模态哈希检索方法。通过图像和文本编码器分别获得两个模态的特征,输入到图卷积网络中挖掘单个模态的内部语义信息,将结果通过哈希编码层进行二值化操作后,与模态间的深度语义关联相似度矩阵进行对比计算损失,不断重构优化生成的二进制编码,直到生成样本对应的健壮哈希表达。实验结果表明,与经典的浅层方法和深度学习方法对比,该方法在多个数据集上的跨模态检索准确率均有明显提升。证明通过图卷积网络能够进一步挖掘模态内的语义信息,所提模型具有更高的准确性和鲁棒性。     

多尺度深度监督的高度近视萎缩病变分割方法

为提升眼底图像的高度近视萎缩病变分割精度,针对不同个体的眼底图像质量良莠不齐及因萎缩病变与相邻组织之间边界较为模糊等引起分割困难的问题,提出具有多尺度深度监督思想的高度近视萎缩病变分割方法。首先开发优化算法使得眼底图像组织结构清晰、风格统一,降低复杂特征的区分难度。由于利用V-Net只能够得到较低的分割精度,因此,通过融合高层与低层的特征形成多尺度特征学习的MS-V-Net,能够提取不同尺度图像中语义信息。更为重要的是,最终对MS-V-Net每个多尺度模块的深度监督形成紧密监督的MSS-V-Net,与原始 V-Net 分割方法相比,提高了网络对重要语义信息的判别性及泛化性能力。实验结果表明,本文方法的Dice盒图呈现出异常值变少,中位数变大,盒子长度变短,上下间隔变小,盒外的2条线变短的趋势,说明有效提升了高度近视萎缩病变图像的分割精度。     

基于改进U-Net的人脑黑质致密部分割

人脑黑质致密部分割能够为帕金森病的诊断提供一定依据。黑质致密部在人脑核磁共振成像中像素占比低、类间差异小,为提高计算机辅助诊断系统对人脑黑质致密部的分割精度,提出一种基于改进U形神经网络（U-Net）的人脑黑质致密部分割方法。为了提取更多有效的多尺度图像语义特征,结合U-Net的跨连接结构并采用多头注意力机制,同时融合基于Transformer编码器的高维语义编码模块以提取高维语义特征,避免浅层噪声对特征造成的影响。建立多任务模型并设计基于二维高斯核权重掩膜的损失函数,解决神经网络分割模型因多次下采样造成的不连续分割误差问题。构建包括140个帕金森病患者以及48个健康对照者的高精度核磁共振脑成像数据集进行实验,结果表明,相较常用的医疗影像分割方法R2U-Net、HANet等,该方法的多任务分割效果取得明显提升,戴斯相关系数和AUC指标分别达到0.869 1和0.943 9,消融实验结果也验证了改进编码器和改进损失这2个模块的有效性。     

多尺度特征金字塔融合的街景图像语义分割

针对街景图像语义分割任务中的目标尺寸差异大、多尺度特征难以高效提取的问题, 本文提出了一种语义分割网络(LDPANet). 首先, 将空洞卷积与引入残差学习单元的深度可分离卷积结合, 来优化编码器结构, 在降低了计算复杂度的同时缓解梯度消失的问题. 然后利用层传递的迭代空洞空间金字塔, 将自顶向下的特征信息依次融合, 提高了上下文信息的有效交互能力; 在多尺度特征融合之后引入属性注意力模块, 使网络抑制冗余信息, 强化重要特征. 再者, 以通道扩展上采样代替双线插值上采样作为解码器, 进一步提升了特征图的分辨率. 最后, LDPANet方法在Cityscapes和CamVid数据集上的精度分别达到了91.8%和87.52%, 与近几年网络模型相比, 本文网络模型可以精确地提取像素的位置信息以及空间维度信息, 提高了语义分割的准确率.     

一种层次级联融合的视频目标分割方法

文章主要研究半监督视频目标分割任务,输入一个完整视频及首帧的像素级标注(掩膜),使用端到端的深度神经网络模型来预测后续帧的掩膜.该模型使用残差卷积网络进行深度特征提取,通过层次级联模块实现各层次不同分辨率特征的交互融合,以此捕捉不同尺寸的目标,并通过尺度融合模块处理视频帧的细节和语义信息,生成像素级分类标注.在主流视频...     

基于融合变分图注意自编码器的深度聚类模型

聚类作为数据挖掘和机器学习中最基本的任务之一,在各种现实世界任务中已得到广泛应用.随着深度学习的发展,深度聚类成为一个研究热点.现有的深度聚类算法主要从节点表征学习或者结构表征学习两个方面入手,较少考虑同时将这两种信息进行融合以完成表征学习.提出一种融合变分图注意自编码器的深度聚类模型FVGTAEDC(Deep Clustering Model Based on Fusion Varitional Graph Attention Self-encoder),此模型通过联合自编码器和变分图注意自编码器进行聚类,模型中自编码器将变分图注意自编码器从网络中学习(低阶和高阶)结构表示进行集成,随后从原始数据中学习特征表示.在两个模块训练的同时,为了适应聚类任务,将自编码器模块融合节点和结构信息的表示特征进行自监督聚类训练.通过综合聚类损失、自编码器重构数据损失、变分图注意自编码器重构邻接矩阵损失、后验概率分布与先验概率分布相对熵损失,该模型可以有效聚合节点的属性和网络的结构,同时优化聚类标签分配和学习适合于聚类的表示特征.综合实验证明,该方法在5个现实数据集上的聚类效果均优于当前先进的深度聚类方法.     

基于多任务学习的肝脏肿瘤自动分割方法

针对深度学习医学影像分割所需的标注数据获取困难且数量少的问题,提出一种基于多任务学习的肝脏肿瘤自动分割方法.提出该方法的主要动机一方面是想要缓解分割数据样本少的问题,另一方面是想要利用不同任务之间有用的信息来提升整体的学习效果.该方法所采用数据集一部分是逐像素的分割数据集,一部分是形式为bounding-box的目标检测数据集.该方法首先通过共享主网络挖掘不同任务之间的相关性,提取通用的特征,然后两个子任务分支通过注意力机制从共享主网络上提取对自身有用的特征,最后两个子网络结合自身的特异性特征与主网络上提取的通用特征来分别完成检测与分割任务.实验结果表明,在一定的样本比例下,该方法相较于U-Net的Dice系数提升了6.67个百分点,表明该方法能够有效利用额外的目标检测数据来提高分割任务的精度.     

基于深度学习算法的高分辨率无人机遥感图像自动分割

高分辨率无人机遥感图像自动分割对于图像的目标识别与检测具有重要意义,为提升图像分割精度,提出基于深度学习算法的高分辨率无人机遥感图像自动分割方法。采用直方图均衡化算法增强遥感图像后,构建基于编/解码器架构的深度学习网络语义分割模型,针对增强后的图像,在编码环节中引入残差模块强化对分割目标有效的特征;在解码环节中,采用多尺度融合模块将低层特征的局部细节信息和高层特征的语义信息相融合。同时针对遥感图像内地物类别不均衡的现象,以带权重的交叉熵为模型损失函数,克服模型选择偏好问题,提升模型分割精度。实验结果显示该方法可准确分割遥感图像内不同类型目标,分割精度达到95%以上。     

双感知门控交互的多任务推荐模型

针对多任务推荐中存在负迁移的问题,提出一种双感知门控交互的多任务推荐模型（DPGI-MTRM）。首先,在多任务共享网络和专有网络中,创新性地设计了双感知特征提取模块（称为双感知专家层）,其作用是对输入特征得到元素级和向量级的双感知特征表示。其次,在门控网络的基础上提出了任务交互层,对经过门控网络输出的特征进行交互计算提取任务之间的高级语义相关性,同时采用残差方式加上原始输入门控的特征向量减少任务交互可能带来的噪音干扰。最后,通过堆叠双感知专家层、门控交互层,连接特定任务的神经网络输出层得到双感知门控交互的多任务推荐模型。此外,在模型训练时使用了梯度归一化的多目标优化方法,使该模型更好地收敛。在Census-income、Synthetic Data和Ali-CCP数据集上进行实验,采用AUC和MSE指标进行评估,实验结果表明,提出的模型表现优于其他基准模型,达到较为先进的性能。     

双路径特征融合编解码结构的高速语义分割EI北大核心CSCD

对基于深度学习的高精度图像语义分割模型参数量大、分割速度慢的问题,提出一种基于双路径特征融合编解码结构的语义分割模型.首先,该模型编码器通过对语义路径和空间路径同时进行编码,其能够融合不同的特征信息,弥补了空间信息和语义信息难以两全的弊端,对特征图进行高效的卷积操作;其次,该模型解码器通过融合高层语义信息和低层空间信息,有效地弥补了编码时下采样操作丢失的特征信息.在Cityscapes和Camvid数据集上的实验结果表明,整体模型的参数量仅为3.91×10^(6),在2个数据集上分别取得了67.7%和65.8%的均交并比,分割速度分别为111帧/s和86帧/s.对比其他同类模型,所提模型拥有更少的参数量和更高的精度,其分割速度远远超过实时语义分割的最低要求24帧/s.     

基于多级特征融合的伪装目标分割

在伪装目标分割任务中,如何提取深度模型下高分辨率的目标语义特征是构建目标分割模型的关键。针对此问题,提出了一种基于多级特征融合的伪装目标分割方法。在特征编码过程中,引入多级门控模块对Res2Net-50的多级中间层特征进行选择性融合,有效过滤各级特征图的干扰信息;在解码过程中,通过自交互残差模块驱动不同尺度的编码特征实现交叉融合,获得更准确的目标表示信息。此外,在交叉熵损失的基础上加入Dice损失形成联合损失函数,帮助模型更精准地分割伪装目标。实验结果证明,在背景复杂的迷彩伪装数据集以及三个常用自然伪装数据集上,相比其他典型模型,该模型表现出更好的分割效果。     

基于光流场与语义特征融合的心脏Cine-MRI左心室心肌分割方法

由于运动原因会造成活体心脏MRI图像中左心室心内膜与心肌边缘轮廓模糊,进而导致分割不准确以及分割精度较低,针对这些问题,本文提出一种基于光流场与语义特征融合的心脏4D Cine-MRI (magnetic resonance imaging)左心室心肌分割模型OSFNet.该模型包含了光流场计算和语义分割网络:将光流场计算得到的运动特征与图像语义特征进行融合,通过网络学习达到了最优的分割效果.模型采用编码器-解码器结构,本文提出的多感受野平均池化模块用于提取多尺度语义特征,减少了特征丢失;解码器部分使用了多路上采样方法和跳跃连接,保证了语义特征被有效还原.本文使用ACDC公开数据集对模型进行训练与测试,并分别与DenseNet和U-Net在左心室内膜分割、左心室内膜和心肌分割目标上进行对比.实验结果表明, OSFNet在Dice和HD等多个指标上取得了最佳效果.     

基于注意力机制的改进UNet草莓病害语义分割

针对当前传统农作物病害语义分割方法精度不高、鲁棒性差等问题,本文提出了基于注意力机制的改进UNet草莓病害语义分割模型.首先,在编码器中加入CNN-Transformer混合结构,增强全局信息与局部细节信息的特征提取能力.其次,在解码器中将dual up-sample模块替换传统上采样,提高特征提取能力与分割精度.再使用hard-swish激活函数代替ReLU激活函数,更加平滑的曲线有助于提高泛化性和非线性特征提取能力,防止梯度消失.最后,通过使用结合交叉熵Dice损失函数,加强模型对分割结果的约束,进一步提升分割精度.实验采用了由7种草莓病害2 500张图像组成的数据集,在复杂背景下对草莓病害进行分割,语义分割像素精度达到92.56%,平均交并比达到84.97%.实验结果表明,本文的改进UNet在草莓病害语义分割方面,能实现更好的分割效果,优于大多数分割模型.