用于咽喉器官分割的空洞残差金字塔算法

对咽喉器官分割是喉镜图像分析以及计算机辅助诊疗的先决条件.为准确地分割器官部位,提出一种用于咽喉器官分割的空洞残差金字塔算法.首先提出空洞残差(dilatedresidual,DR)模块,使用多种空洞卷积提取图像不同感受野下的特征,结合残差策略提升特征多样性并加快网络训练速度;然后将DR模块与特征金字塔结合,融合多尺度特征并补充器官浅层特征,使得网络适应器官的多种形态;最后设计咽喉器官分割网络——DRP-Mask.在8 000幅喉镜图像数据集上的实验结果表明,与其他5种语义分割网络相比, DRP-Mask的平均交并比提升2%～4%,比基准网络平均精度提升1.6%,实现对器官准确定位的同时也对其进行完整的分割,分割结果更贴合医生标注结果.     

改进ASPP及多层次特征语义融合分割方法

为解决图像语义分割中多尺度目标分割困难、类别边界预测不准确等问题，提出一种基于改进空洞空间金字塔池化的多层次特征语义融合分割方法。将深层次网络特征按通道分组，利用分组空洞空间金字塔池化模块捕获每个分组多尺度特征上下文信息；引入条状池化模块对上下文信息补充和完善，增强全局语义信息表达；根据语义引导融合模块建立不同层次特征像素间对应关系，将深层次语义信息以自底向上方式逐步融入到低层次高分辨率图像中。实验结果表明，该方法在PASCAL VOC 2012和Cityscapes公开数据集上分别获得73.1%、71.8%的平均交并比，且在相同精度下，该方法减少了39%的参数量。     

改进DeepLabv2的实时图像语义分割算法

图像语义分割是计算机视觉感知系统的重要组成之一,针对现有的语义分割算法存在分割速度慢的问题提出基于DeepLabv2改进的实时图像语义分割算法。与DeepLabv2相比,改进后的算法使用轻量卷积神经网络Xception作为编码器,增加特征金字塔网络（Feature Pyramid Net,FPN）解码特征的过程,减少空洞金字塔池化网络（Atrous convolution Spatial Pyramid Pooling,ASPP）参数的数量,进而大幅度压缩了算法模型,提升了算法分割速度。此外,还对Focal Loss损失函数在多分类任务中难以选择超参数的问题做出改进,并用于提升算法分割精度。在Cityscapes和Pascal VOC2012数据集上的实验结果表明改进后的算法可达到实时分割速度且具有分割精度高的优点,同时还表明提出的超参数选择方法可进一步提升算法分割精度。     

基于深度学习的遥感影像语义分割研究

高分辨率遥感图像的语义分割是遥感应用领域中的重要任务之一。针对经典语义分割网络在高分辨率遥感图像语义分割中存在边缘目标分割不准确、多尺度目标分割困难等问题，提出了一种基于改进空洞空间金字塔池的编码器-解码器结构网络(SMANet)。编码部分使用带有注意力机制的残差网络，使得网络充分提取图像的特征信息，其次通过多并行空洞空间金字塔模块（MASPP）获得特征图有关类别和空间上下文的更详细.信息；解码部分以自底向上方式将深层次语义信息逐步融入到低层次高分辨率图像中。使用WHDLD公开数据集对该算法进行实验，获得了6418%的平均交并比，实验结果表明SMANet优于目前主流的语义分割网络。     

多模态特征融合的遥感图像语义分割网络

遥感图像语义分割是指通过对遥感图像上每个像素分配语义标签并标注,从而形成分割图的过程,在国土资源规划、智慧城市等领域有着广泛的应用。高分辨率遥感图像存在目标大小尺度不一与阴影遮挡等问题,单一模态下对相似地物和阴影遮挡地物分割较为困难。针对上述问题,提出了将IRRG（infrared、red、green）图像与DSM（digital surface model）图像融合的遥感图像语义分割网络MMFNet。网络采用编码器-解码器的结构,编码层采用双输入流的方式同时提取IRRG图像的光谱特征和DSM图像的高度特征。解码器使用残差解码块（residual decoding block,RDB）提取融合后的特征,并使用密集连接的方式加强特征的传播和复用。提出复合空洞空间金字塔（complex atrous spatial pyramid pooling,CASPP）模块提取跳跃连接的多尺度特征。在国际摄影测量与遥感学会（international society for photogrammetry and remote sensing,ISPRS）提供的Vaihingen和Potsdam数据集上进行了实验,MMFNet分别取得了90.44%和90.70%的全局精确度,相比较与DeepLabV3+、OCRNet等通用分割网络和CEVO、UFMG_4等同数据集专用分割网络具有更高的分割精确度。     

改进SegNet+CRF高分辨率遥感影像建筑物提取方法

将传统的语义分割SegNet网络用于高分辨率遥感影像的建筑物提取时,分割的建筑物存在边界模糊、精度较低、错检漏检等问题。为了解决上述问题,提出一种改进SegNet网络+CRF语义分割方法。编码阶段的最低分辨率层引入空洞金字塔池化模型,通过并行的空洞卷积操作扩大特征提取的感受野;解码阶段构建特征金字塔实现特征多尺度融合,弥补上采样过程中丢失的特征信息;最后,预测图像送入全连接条件随机场模型进行后处理,优化提取的建筑物边缘。实验表明,相较于原SegNet网络,改进方法的建筑物提取像素精度、召回率、平均交并比分别提高了0.48%、1.29%、2.36%。     

面向图像语义分割的生成对抗网络模型

图像语义分割一直是计算机视觉中具有挑战性的任务之一。目前多数基于卷积神经网络的语义分割算法存在分割结果不精确,不连续等问题。为了提高图像分割效果,提出了基于生成对抗学习的图像语义分割网络模型。该模型由生成网络和判别网络两部分组成。生成网络含有五个模块,主要作用是生成语义分割图,判别网络与生成网络进行对抗训练,优化生成网络以使生成图像更加接近于Ground Truth。通过在Pascal VOC 2012数据集上对图像进行语义分割的分析,验证了该算法可以有效提高图像语义分割的精度。     

基于密集连接与特征增强的语义分割算法

在语义分割算法DeepLabv3+中,由于对主干网络提取的特征信息利用不充分,导致了分割边缘不连续、目标丢失以及分割错误等问题。为此,提出一种基于密集连接和特征增强的语义分割算法。采用共享空洞空间金字塔池化(S-ASPP)模块建立多个空洞卷积之间的联系,增强局部信息之间的语义关联,捕获密集的采样点像素,同时提高对高层特征信息的利用。引入特征金字塔增强模块(FPEM)和特征融合模块(FFM),对主干网络输出的多层特征信息进行处理,增强特征的表达能力,并采用FFM对FPEM输出的不同尺度特征信息进行融合,提高各层特征之间的互补能力,以获得更全面的特征图信息。在此基础上,将S-ASPP和FFM的输出进行拼接和卷积操作,得到最终的分割结果。在PASCAL VOC 2012和Cityscapes数据集上的实验结果表明,该算法的平均交并比分别达到81.13%和73.39%,相较于基准算法DeepLabv3+分别提升了2.3和2.1个百分点,充分利用了骨干网络中的每层特征信息,提升了算法的分割精度,取得了较好的分割效果。     

基于改进自注意力机制的金字塔场景解析网络

金字塔场景解析网络存在图像细节信息随着网络深度加深而丢失的问题，导致小目标与物体边缘语义分割效果不佳、像素类别预测不够准确。提出一种基于改进自注意力机制的金字塔场景解析网络方法，将自注意力机制的通道注意力模块与空间注意力模块分别加入到金字塔场景解析网络的主干网络和加强特征提取网络中，使网络中的两个子网络能够分别从通道和空间两个方面提取图像中更重要的特征细节信息。针对现有的图像降维算法无法更好地提高自注意力机制计算效率的问题，在分析“词汇”顺序对自注意力机制计算结果影响的基础上，利用希尔伯特曲线遍历设计新的图像降维算法，并将该算法加入到空间自注意力模块中，以提高其计算能力。仿真实验结果表明，该方法在PASCAL VOC 2012和息肉分割数据集上的精度均有提高，小目标与物体边缘分割更加精细，其中在VOC 2012训练集中平均交并比与平均像素精度分别达到75.48%、85.07%，较基准算法分别提升了0.68、1.35个百分点。     

基于自监督图像对的弱监督语义分割算法

为了降低语义分割任务的标注成本,提出一种基于自监督图像对的弱监督语义分割算法Co-Net。首先,将一对图像分别输入骨干网络中提取图像对特征;然后,将特征展开加入位置信息送入编码层中进行编码;接着,将编码特征送入协同注意力模块（CoAM）以及双向自注意力模块（BiAM）中进行信息相互表征;最后,将图像区域掩码模型（MRM）以及图像对匹配（IPM）两种自监督任务用于网络训练,学习图像对中的全局关联以及局部关联,以此得到更加精确的初始化种子。仅使用图像级标签进行弱监督语义分割,在Pascal VOC 2012验证和测试集上分别实现了69.8%和70.3%的平均交并比（mIoU）,相较于同样为图像对输入的算法GroupWSSS(Group-Wise Semantic mining for weakly Supervised Semantic Segmentation),验证集、测试集上的mIoU分别提高了1.6、1.8个百分点。实验结果表明,所提算法可以获得更加完整的目标激活区域。     

融合深度神经网络和空洞卷积的语义图像分割研究

语义分割是计算机视觉中的基本任务,是对图像中的不同目标进行像素级的分割与分类.针对多尺度的目标分割难题,本文提出了一种基于Res Net网络的方法,通过定义并联支路,将浅层特征图像信息融合到深层特征图像中,提出新的空洞空间金字塔模块,该模块采用并行的不同采样率的空洞卷积进行特征提取与融合,从而更有效的提取不同层的特征以及上下文信息,并且在新模块中加入批规范化计算,增强参数调优的稳定性.本文还采用了Adam自适应优化函数,在训练的过程中,使得每个参数的更新都具有独立性,提升了模型训练的稳定性.本文结果在PASCAL VOC 2012语义分割测试集中取得了77.31%mIOU的成果,优于Deeplab V3的效果.     

基于空洞空间金字塔池化的雾天图像语义分割

针对雾天图像语义分割中分割精度不高的问题,基于空洞空间金字塔池化、Xception模块和残差网络,提出一种雾天图像语义分割算法.该算法一方面使用空洞空间金字塔池化和残差网络,以多个采样率的并行卷积以及卷积核大小为1×1的卷积对输入图像进行多尺度的上下文特征提取;另一方面,采用解码器结构使用预训练后的Xception模块对提取的特征进行分类,得到每一个像素的预测结果,用于增强分割边界的细化得到边界精细的分割结果.实验表明,所提算法在foggy cityscapes数据集上的平均交并比为73.03％、73.81％与74.50％,分割性能良好.     

基于多级特征整合的图像语义分割研究

传统的全卷积神经网络由于不断的池化和下采样操作使得最后的特征热点图分辨率损失严重,导致了分割结果的细节刻画能力的缺失,为了弥补这一缺陷,往往通过跳跃连接融合中层的特征图以恢复空间信息.由于无法充分利用网络的低层特征信息,传统全卷积网络的特征融合阶段存在相当的缺陷,本文对这一现象进行了深入的分析.本文在上采样路径之前采用基于特征金字塔的特征信息增强方法,克服了浅层特征图语义信息匮乏这一缺点,使得整个网络能更充分的利用前向计算产生的特征图,输出的分割结果也更为精确.本文提出的算法在Pascal VOC数据集上取得了75.8%的均像素精度和83.9%的权频交并比,有效的提高了分类精度.     

多尺度特征金字塔融合的街景图像语义分割

针对街景图像语义分割任务中的目标尺寸差异大、多尺度特征难以高效提取的问题, 本文提出了一种语义分割网络(LDPANet). 首先, 将空洞卷积与引入残差学习单元的深度可分离卷积结合, 来优化编码器结构, 在降低了计算复杂度的同时缓解梯度消失的问题. 然后利用层传递的迭代空洞空间金字塔, 将自顶向下的特征信息依次融合, 提高了上下文信息的有效交互能力; 在多尺度特征融合之后引入属性注意力模块, 使网络抑制冗余信息, 强化重要特征. 再者, 以通道扩展上采样代替双线插值上采样作为解码器, 进一步提升了特征图的分辨率. 最后, LDPANet方法在Cityscapes和CamVid数据集上的精度分别达到了91.8%和87.52%, 与近几年网络模型相比, 本文网络模型可以精确地提取像素的位置信息以及空间维度信息, 提高了语义分割的准确率.     

一种融合多级特征信息的图像语义分割方法

卷积神经网络因为其强大的学习能力,已经在语义分割任务中取得了显著的效果,但是如何有效地利用网络在浅层次的视觉特征和深层次的语义特征一直是研究的热点,以此为出发点,提出了一种融合多级特征信息的图像语义分割方法。通过空洞卷积提取各层级的特征,并不断迭代深层特征来丰富低级视觉信息,最后与高级语义特征合并融合,得到精细的语义分割结果。实验在PASCAL VOC 2012数据集上与主流的五种方法进行了比较,在GTX1080Ti的环境下该方法与其中性能第二的模型mIoU（mean intersection-over-union）值相比提高了2.1%,与其中性能第一的模型mIoU值仅相差0.4%,表明该方法能有效利用多层级的特征信息,实现了图像语义分割的目的。     

基于深度学习的人物肖像全自动抠图算法

针对抠图任务中人物抠图完整度低、边缘不够精细化等繁琐问题,提出了一种基于深度学习 的人物肖像全自动抠图算法。算法采用三分支网络进行学习,语义分割分支(SSB)学习  图的语义信息,细节 分支(DB)学习  图的细节信息,混合分支(COM)将 2 个分支的学习结果汇总。首先算法的编码网络采用轻量 级卷积神经网络(CNN) MobileNetV2,以加速算法的特征提取过程;其次在 SSB 中加入注意力机制对图像特 征通道重要性进行加权,在 DB 加入空洞空间金字塔池化(ASPP)模块,对图像的不同感受野所提取的特征进 行多尺度融合;然后解码网络的 2 个分支通过跳级连接融合不同阶段编码网络提取到的特征进行解码;最后 将 2 个分支学习的特征融合在一起得到图像的  图。实验结果表明,该算法在公开的数据集上抠图效果优于 所对比的基于深度学习的半自动和全自动抠图算法,在实时流视频抠图的效果优于 Modnet。     

细化Transformer网络的弱监督图像语义分割

图像级标签的弱监督图像语义分割方法是目前比较热门的研究方向,类激活图生成方式是最为常用的解决该类问题的主要工作方法。由于类激活图的稀疏性,导致判别区域的准确性降低。针对上述问题,提出了一种改进的Transformer网络弱监督图像学习方法。首先,引入空间注意力交换层来扩大类激活图的覆盖范围;其次,进一步设计了一个注意力自适应模块,来指导模型增强弱区域的类响应;特别地,在类生成过程中,构建了一个自适应跨域来提高模型分类性能。该方法在Pascal VOC 2012 验证集和测试集上分别达到了73.5%和73.0%。实验结果表明,细化Transformer网络学习方法有助于提高弱监督图像的语义分割性能。     

基于注意力机制和金字塔融合的RGB-D室内场景语义分割

针对现有RGB-D室内场景语义分割不能有效融合多模态特征的问题,提出一种基于注意力机制和金字塔融合的RGB-D室内场景图像语义分割网络模型APFNet,并为其设计了两个新模块:注意力机制融合模块与金字塔融合模块.其中,注意力机制融合模块分别提取RGB特征和Depth特征的注意力分配权重,充分利用两种特征的互补性,使网络...