基于DeepLab V3模型的图像语义分割速度优化研究

为了解决移动端视觉感知模块的内存资源和硬件条件不适应卷积神经网络的快速应用等问题。以经典的DeepLab V3模型为基础,在保证分割精度的前提下,以优化卷积神经网络模型的运行速度为目标,提出一种新的轻量化网络结构。所设计的网络结构将原有非线性激活函数替换成新的Swish激活函数进行精度补偿,采用改进后的轻量化MobileNet V2结构替代DeepLab V3原有的特征提取器。实验结果表明,改进的DeepLab V3网络模型和目前精度最高的DeepLab V3+算法相比,其在维持一定精度的前提下,参数量和计算复杂度大大减小,运行速度明显提升,模型内存占用率下降了近96%,综合性能更强,更适合对分割性能要求较高的快速分割网络。     

基于MultiResUNet-SMIS的皮肤黑色素瘤图像分割

针对现有的皮肤黑色素瘤病灶分割精度不高的问题,结合现有卷积神经网络方法提出皮肤黑色素瘤图像分割方法 MultiResUNet-SMIS.首先,依据皮肤黑色素瘤成像特点,引入不同空洞率的空洞卷积替换普通卷积,在参数量相同的前提下扩大感受野,使网络模型能够适用于多尺度病灶分割任务;其次加入空间和通道注意力机制以重新分配特征权重,扩大感兴趣特征影响,抑制无关特征;最后融合Focal loss与Dice loss提出一种新的loss函数FD loss用于计算回归损失,解决前景背景像素不均衡问题,进一步提高网络模型的分割精度.实验结果表明,MultiResUNet-SMIS在ISIC-2018数据集上的Dice指数、IoU指数以及Acc准确率分别达到了89.47%、82.67%、96.13%,与原MultiResUNet以及UNet、UNet++、DeepLab V3+等主流方法相比, MultiResUNet-SMIS在皮肤黑色素瘤图像分割中具有更好的效果.     

基于可变形卷积技术的街景图像语义分割算法

目前图像语义分割算法中可能会出现分割图像的不连续与细尺度目标丢失的缺陷,故提出可变形卷积融合增强图像的语义分割算法。算法集HRNet网络框架、Xception Module以及可变形的卷积于一体,用轻量级Xception Module优化HRNet原先存在的Bottleneck模块,同时在网络的第一阶段串联融合可变形卷积,通过建立轻量级融合加强网络从而增强针对细尺度目标特征物的辨识精度,从而使得该轻量级融合增强网络在粗尺度目标物被分割时取得相对多的细尺度目标的语义特征信息,进一步缓解语义分割图像的不连续与细尺度的目标丢失。使用Cityscapes数据集,实验结果可以说明,优化后的算法对于细尺度目标分割精度得到了显著的增强,同时解决了图像语义分割导致的分割不连续的问题。然后进行实验使用的是公开数据集PASCAL VOC 2012,实验进一步的验证了优化算法的鲁棒性以及泛化能力。     

树形结构卷积神经网络优化的城区遥感图像语义分割

目的 高分辨率遥感图像通常包含复杂的语义信息与易混淆的目标,对其语义分割是一项重要且具有挑战性的任务。基于DeepLab V3+网络结构,结合树形神经网络结构模块,设计出一种针对高分辨率遥感图像的语义分割网络。方法 提出的网络结构不仅对DeepLab V3+做出了修改,使其适用于多尺度、多模态的数据,而且在其后添加连接树形神经网络结构模块。树形结构通过建立混淆矩阵、提取混淆图、构建图分割,能够对易混淆的像素更好地区分,得到更准确的分割结果。结果 在国际摄影测量及遥感探测学会（International Society for Photogrammetry and Remote Sensing,ISPRS）提供的两个不同城市的遥感影像集上分别进行了实验,模型在整体准确率（overall accuracy, OA）这一项表现最好,在Vaihingen和Potsdam数据集上分别达到了90.4%和90.7%,其整体分割准确率较其基准结果有10.3%和17.4%的提升,对比ISPRS官方网站上的3种先进方法也有显著提升。结论 提出结合DeepLab V3+和树形结构的卷积神经网络,有效提升了高分辨率遥感图像语义分割整体精度,其中易混淆类别数据的分割准确率显著提高。在包含复杂语义信息的高分辨率遥感图像中,由于易混淆类别之间的像素分割错误减少,使用了树形结构的网络模型的整体分割准确率也有较大提升。     

DeepLabv3plus-IRCNet：小目标特征提取的图像语义分割

目的 为了解决经典卷积神经网络无法满足图像中极小目标特征提取的准确性需求问题,本文基于DeepLabv3plus算法,在下采样过程中引入特征图切分模块,提出了DeepLabv3plus-IRCNet（IR为倒置残差（inverted residual,C为特征图切分（feature map cut））图像语义分割方法,支撑图像极小目标的特征提取。方法 采用由普通卷积层和多个使用深度可分离卷积的倒置残差模块串联组成的深度卷积神经网络提取特征,当特征图分辨率降低到输入图像的1/16时,引入特征图切分模块,将各个切分特征图分别放大,通过参数共享的方式提取特征。然后,将每个输出的特征图进行对应位置拼接,与解码阶段放大到相同尺寸的特征图进行融合,提高模型对小目标物体特征的提取能力。结果 本文方法引入特征图切分模块,提高了模型对小目标物体的关注,充分考虑了图像上下文信息,对多个尺度下的各个中间层特征进行融合,提高了图像分割精度。为验证方法的有效性,使用CamVid（Cambridge-driving labeled video database）数据集对提出的方法进行验证,平均交并比（mean intersection over union,mIoU）相对于DeepLabv3plus模型有所提升。验证结果表明了本文方法的有效性。结论 本文方法充分考虑了图像分割中小目标物体的关注度,提出的DeepLabv3plus-IRCNet模型提升了图像分割精度。     

融合低阶特征与全局特征的图像语义分割方法

目前,深度全卷积网络在图像语义分割领域已经取得了瞩目的成就,但特征图的细节信息在多次下采样过程中会大量损失,对分割精度造成影响。针对该问题设计了一个用于图像语义分割的深度全卷积网络。该网络采用“编码器-解码器”结构,在编码器后端引入空洞卷积以降低细节信息的损失,在解码过程中融合对应尺寸的低阶语义特征,并在解码器末端融入全局特征以提升模型的分割精度。使用数据增强后的CamVid数据集对网络进行训练和测试,测试结果达到了90.14%的平均像素精度与71.94%的平均交并比。实验结果表明,该网络能充分利用低阶特征与全局特征,有效提升分割性能,并在区域平滑方面有很好的表现。     

基于多尺度特征融合模型的遥感图像建筑物分割

针对传统深度网络模型难以精确提取建筑物边缘轮廓特征及对不同尺寸建筑物无法自适应提取的问题,提出一种膨胀卷积特征提取的多尺度特征融合深度神经网络模型(Multiscale-feature fusion Deep Neural Networks with dilated convolution,MDNNet)对遥感图像建筑物自动分割的方法。首先在ResNet101模型中引入膨胀卷积扩大提取视野保留更多特征图像分辨率;其次利用多尺度特征融合模块获取多个尺度的建筑物特征并将不同尺度的特征融合;最终利用特征解码模块将特征图恢复到原始输入图像尺寸,实现遥感图像建筑物精确分割。在WHU遥感图像数据集的实验结果表明,提出模型有效克服道路、树木和阴影等因素影响,分割结果有效保留建筑物边界细节信息,有效提升分割精度,像素准确率PA达到0.864,平均交并比mIoU达到0.815,召回率Recall达到0.862。     

基于DeepLab v3+的多任务图像拼接篡改检测算法

在图像拼接篡改检测任务中,受篡改区域尺度多样性及模糊操作的影响,传统分类算法难以提取图像篡改特征。提出一种基于DeepLab v3+的图像拼接篡改检测算法,使用浅层图像特征预测图像的篡改区域边界,提高模型对篡改边界的敏感性。在此基础上,通过多尺度融合特征对图像篡改区域进行分割,并在原空洞空间金字塔模块中融合空间和通道注意力机制,从而提高模型对多尺度篡改区域的适应性。实验结果表明,所提算法能有效检测图像的篡改区域,在CASIA v1.0和Columbia数据集中的分割精度分别为0.754 6和0.727 8,优于DCT、BAPPY、MFCN等算法。     

三维卷积网络在脑海马体分割中的应用

为了提高海马体分割的精确性和鲁棒性,提出一种新型的三维卷积网络Dilated-3DUnet。该网络中卷积层的通道数采用"金字塔"分布的方式,有效缩小了参数的规模。此外,使用三维空洞卷积作为级联卷积操作,不仅有效地结合了脑磁共振成像(MRI)的深层特征和浅层特征,而且在不改变参数个数的情况下,扩大了卷积层的感受野,获取了多尺度信息,能够更好地捕捉MRI图像的浅层特征,从而提高了分割精度。在ADNI数据集上进行实验,以相似性系数、灵敏度、阳性预测率为评价指标,准确率分别达到了89.32%、88.72%和90.05%。实验表明,Dilated-3DUnet充分利用了脑MRI图像的三维空间信息,具有更强的泛化能力和更好的特征表达能力,从而大大提升了分割精度。     

结合上下文特征与CNN多层特征融合的语义分割

目的 针对基于区域的语义分割方法在进行语义分割时容易缺失细节信息,造成图像语义分割结果粗糙、准确度低的问题,提出结合上下文特征与卷积神经网络（CNN）多层特征融合的语义分割方法。方法 首先,采用选择搜索方法从图像中生成不同尺度的候选区域,得到区域特征掩膜;其次,采用卷积神经网络提取每个区域的特征,并行融合高层特征与低层特征。由于不同层提取的特征图大小不同,采用RefineNet模型将不同分辨率的特征图进行融合;最后将区域特征掩膜和融合后的特征图输入到自由形式感兴趣区域池化层,经过softmax分类层得到图像的像素级分类标签。结果 采用上下文特征与CNN多层特征融合作为算法的基本框架,得到了较好的性能,实验内容主要包括CNN多层特征融合、结合背景信息和融合特征以及dropout值对实验结果的影响分析,在Siftflow数据集上进行测试,像素准确率达到82.3%,平均准确率达到63.1%。与当前基于区域的端到端语义分割模型相比,像素准确率提高了10.6%,平均准确率提高了0.6%。结论 本文算法结合了区域的前景信息和上下文信息,充分利用了区域的语境信息,采用弃权原则降低网络的参数量,避免过拟合,同时利用RefineNet网络模型对CNN多层特征进行融合,有效地将图像的多层细节信息用于分割,增强了模型对于区域中小目标物体的判别能力,对于有遮挡和复杂背景的图像表现出较好的分割效果。     

室内服务机器人的实时场景分割算法

室内场景下的实时场景分割是开发室内服务机器人的一项关键技术,目前关于语义分割的研究已经取得了重大进展,但是多数方法都倾向于设计复杂的网络结构或者高计算成本的模型来提高精度指标,而忽略了实际的部署成本。针对移动机器人算力成本有限的问题,设计一种轻量化的瓶颈结构,并以此为基本元素构建轻量化场景分割网络。该网络通过与特征提取网络级联获得更深层次的语义特征,并且融合浅层特征与深层语义特征获得更丰富的图像特征,其结合深度可分离卷积与多尺度膨胀卷积提取多尺度图像特征,减少了模型的参数量与计算量,同时利用通道注意力机制提升特征加权时的网络分割精度。以512像素×512像素的图像作为输入进行实验,结果表明,该算法在NYUDv2室内场景分割数据集和CamVid数据集上的MIoU分别达到72.7%和59.9%,模型计算力为4.2 GFLOPs,但参数量仅为8.3 Mb,在移动机器人NVIDIA Jetson XavierNX嵌入式平台帧率可达到42 frame/s,其实时性优于DeepLabV3+、PSPNet、SegNet和UNet算法。     

基于多源融合FCN的图像分割

图像分割任务中,传统的基于人工设计特征方法工作量大、复杂度高、分割割精度较低,现有的基于全卷积神经网络(Fully Convolutional Networks,FCN)的方法在分割边缘上不够精细。为了提高图像分割算法的分割精度,提出基于多源融合的全卷积神级网络模型,输入图片经过Sobel算子提取边缘特征获得特征矩阵,与RGB和灰度图像一起作为输入,将传统全卷积网络拓展成具有多种输入源的分割模型。在PASCAL VOC 2012图像分割数据集上进行实验验证,结果显示该模型提高了图像分割的精度,具有良好的实时性和鲁棒性。     

融合多尺度和边界优化的图像语义分割网络

针对卷积神经网络在多卷积层叠加造成的图像内小尺度目标丢失和类别边界模糊问题,提出一种基于多尺度特征融合和边界优化的阶梯型图像语义分割网络结构。该网络以提升网络模型的准确率为目标,对Deeplab V3+网络中空间池化金字塔模块进行优化,使用针对视觉任务的新激活函数Funnel ReLU(FReLU)替换原有非线性激活函数获取精度补偿,增添优化分支构建阶梯型网络,通过对各类别边界的精确预测提升整体图像分割准确率,减少预测结果中类内误识别和小尺度目标丢失问题。在Cityscapes数据集上的实验结果表明,改进后的网络各类别平均交并比指标均取得明显提升。     

多尺度密集网络在红外和可见光图像融合应用

为了进一步提升红外和可见光图像的融合效果,提出了一种基于多尺度卷积算子和密集连接网络的图像融合模型.该模型首先使用多尺度卷积算子计算图像的直接多尺度特征,然后使用密集连接网络计算图像的间接多尺度特征.为了得到图像像素信息在不同尺度下的融合权重,通过叠加的方式将各个尺度密集连接网络的输出进行融合,并使用活动图方法计算两类图像的融合权重,最后根据权重计算结果得到融合图像,实验在THO数据集和CMA数据集获得较好的识别率.     

脊柱MR图像自动分割方法的研究

脊柱磁共振（magnetic resonance,MR）图像精确分割是脊柱配准、三维重建等技术的前提。传统脊柱MR图像分割方法过程繁琐,精度低。为克服传统方法弊端,提出了一种基于深度学习的脊柱MR图像自动分割方法。该方法构建对称通道卷积神经网络提取多尺度图像特征,通过残差连接解决训练中网络退化问题,同时用跳跃连接层连接中间层特征减少信息丢失。在搭建的网络模型中加入卷积块注意力机制关注空间和通道中的有效特征。实验结果表明,该模型在测试集上的平均DSC系数为0.861?9,相比FCN、U-Net、DeeplabV3+和UNet++网络模型分别提高了15.34%、7.08%、5.79%、3.1%。该模型可应用于临床实践中提升脊柱MR图像的分割精度。     

基于注意力与金字塔融合的医学图像分割仿真

针对现有的U-Net编解码结构网络的边缘模糊以及上下文信息提取能力弱等问题,提出了在编解码结构网络基础上融合反向注意力和金字塔模块的图像分割网络。网络以Res2Net50作为特征编码器提取特征,在编码器与解码器中引入尺度感知金字塔融合模块,加强网络对上下文信息的提取能力,然后在跳跃连接处加入反向注意力模块,用以提取边缘结构信息,最后使用特征拼接融合特征信息,提升网络模型分割性能。实验结果证明,改进的网络在Liver CT、Finding lungs in CT以及CHAOS数据集上的分割精度均有一定的提升,可以有效改善分割图像边缘模糊等问题。     

多尺度信息融合的遥感图像语义分割模型

遥感图像分割是目前学术界和工业界的一个研究热点,在城市规划、变化检测以及GIS信息构建等方面有着十分广泛的应用.然而,诸多复杂因素(如多变的尺度、多样化的拓扑形状以及复杂的背景和阴影等)使得遥感图像语义分割成为一项具有挑战性的任务.为此,提出一种基于多尺度信息融合的遥感图像语义分割深层卷积神经网络模型,该模型分为编码器和解码器2部分.在编码阶段,设计了基于DenseNet网络的跨卷积层级的多尺度特征融合策略,采用子区域全局平均池化及多尺度卷积处理复杂的背景区域;在解码阶段,为了准确地恢复图像的细节信息,设计了能够融合不同层级卷积特征的短解码器;最后,在整体模型构建方面设计了一种具有多输出的分层监督机制网络模型,从不同层级获取监督信息,可在充分利用监督信息的同时更好地引导网络的训练.在ISPRS公开数据集以及北京市遥感数据集上,通过实验验证了文中模型的有效性.     

基于多尺度高阶注意力机制的视网膜血管分割

视网膜血管分割对于辅助医生诊断糖尿病性视网膜病变、黄斑萎缩、青光眼等眼科疾病具有重要意义.注意力机制被广泛用于U-Net及其变体中以提高血管分割模型的性能.为进一步提高视网膜血管的分割精度,挖掘视网膜图像中的高阶及全局上下文信息,本文提出基于多尺度高阶注意力机制的模型(multi-scale high-order attention network, MHA-Net).首先,多尺度高阶注意力(multi-scale high-order attention, MHA)模块从深层特征图中提取多尺度和全局特征计算初始化注意力图,从而改进模型处理医学图像分割时尺度不变的缺陷.接下来,该模块通过图的传递闭包构建注意力图,进而提取高阶的深层特征.通过将多尺度高阶注意力模块应用于编码器-解码器结构中,在彩色眼底图像数据集DRIVE上进行血管分割,实验结果表明,基于多尺度高阶注意力机制的视网膜血管分割方法有效地提高了分割的精度.     

基于DeepLab的物体部件分割网络

针对现有部件分割精度较低、泛化性和精度无法兼顾等问题,文中提出基于DeepLab的物体部件分割网络(DeepLab-MAFE-DSC).网络的编码器部分提出多尺度自适应形态特征提取模块(MAFE),利用可形变卷积增强模型对不规则轮廓的处理能力,并采取先级联再并行相加的采样模式,兼顾全局和局部信息.解码器部分设计基于跳跃式架构的解码器模块(DSC),同时连接深层的语义信息和浅层的表征信息.在数据集上的实验表明,DeepLab-MAFE-DSC具有简单、分割精度较高、泛化性较强的优点.     

基于密集连接与特征增强的语义分割算法

在语义分割算法DeepLabv3+中,由于对主干网络提取的特征信息利用不充分,导致了分割边缘不连续、目标丢失以及分割错误等问题。为此,提出一种基于密集连接和特征增强的语义分割算法。采用共享空洞空间金字塔池化(S-ASPP)模块建立多个空洞卷积之间的联系,增强局部信息之间的语义关联,捕获密集的采样点像素,同时提高对高层特征信息的利用。引入特征金字塔增强模块(FPEM)和特征融合模块(FFM),对主干网络输出的多层特征信息进行处理,增强特征的表达能力,并采用FFM对FPEM输出的不同尺度特征信息进行融合,提高各层特征之间的互补能力,以获得更全面的特征图信息。在此基础上,将S-ASPP和FFM的输出进行拼接和卷积操作,得到最终的分割结果。在PASCAL VOC 2012和Cityscapes数据集上的实验结果表明,该算法的平均交并比分别达到81.13%和73.39%,相较于基准算法DeepLabv3+分别提升了2.3和2.1个百分点,充分利用了骨干网络中的每层特征信息,提升了算法的分割精度,取得了较好的分割效果。