融合注意力机制的肠道息肉分割多尺度卷积神经网络

肠道息肉分割能够提供息肉在结肠中的位置和形态信息,方便医生依据其结构变化程度来推断 癌变可能性,有利于结肠癌的早期诊断和治疗。针对许多现有的卷积神经网络所提取的多尺度特征有限,且常 引入冗余和干扰特征,难以应对复杂多变的肠道息肉分割问题,提出了一种融合注意力机制的肠道息肉分割多 尺度卷积神经网络(CNN)。首先,设计不同比例金字塔池化策略提取丰富的多尺度上下文信息;然后,通过在 网络中融入通道注意力机制,模型能够根据目标自适应地选择合适的局部上下文信息和全局上下文信息进行特 征集成;最后,联合金字塔池化策略和通道注意力机制构建多尺度有效语义融合解码网络,增强模型对形状、 大小复杂多变的肠道息肉分割的鲁棒性。实验结果表明,本文模型分割的 Dice 系数、IoU 和灵敏度在 CVC-ClinicDB 数据集上分别为 90.6%,84.4%和 91.1%,在 ETIS-Larib 数据集上分别为 80.6%,72.6%和 79.0%, 其能够从肠镜图像中准确、有效地分割出肠道息肉。     

融合深度信息的室内场景分割算法

针对室内复杂场景中, 图像语义分割存在的特征损失和双模态有效融合等问题, 提出了一种基于编码器-解码器架构的融合注意力机制的轻量级语义分割网络. 首先采用两个残差网络作为主干网络分别对RGB和深度图像进行特征提取, 并在编码器中引入极化自注意力机制, 然后设计引入双模态融合模块在不同阶段对RGB特征和深度特征进行有效融合, 接着引入并行聚合金字塔池化以获取区域之间的依赖性. 最后, 采用3个不同尺寸的解码器将前面的多尺度特征图进行跳跃连接并融合解码, 使分割结果含有更多的细节纹理. 将本文提出的网络模型在NYUDv2数据集上进行训练和测试, 并与一些较先进RGB-D语义分割网络对比, 实验证明本文网络具有较好分割性能.     

融合注意力机制的端到端的街道场景语义分割

随着注意力机制的出现,研究人员开始通过对神经网络的特征图中的不同关注角度添加注意力机制来提升图像语义分割准确率.现有融合注意力机制的方法,大多通过计算像素与其它像素之间的关系来求得该像素点的注意力权值,这些方法提升效果具有局限性.针对以上问题,设计了两种不同的注意力模块：空间-条形注意力和通道注意力,提出了一种融合注意力机制的端到端的街道场景语义分割方法.空间-条形注意力采用两种不同条形池化核,捕获条形分布区域之间的长距离依赖关系,可以有效捕获局部和全局上下文信息.在Cityscapes数据集上的实验表明,该算法在验证集和测试集上的分割精度分别为76.89%、77.8%,与现有的算法相比有更好的表现.本文结合人类视觉注意力的特点,提出的两个注意力模型,使得街道场景下的语义分割效果更加准确.     

基于卷积神经网络的语义分割算法研究

针对语义分割中残差网络并不能完好地提取图像信息和分割效果差的问题,提出一种联合特征金字塔模型(JFP)用来融合残差网络的输出特征,并结合暗黑空间金字塔池化模型(ASPP)进一步提取特征。在解码部分应用简单的解码结构,恢复图像尺寸完成语义分割;同时引入注意力模型作为辅助语义分割网络,辅助神经网络进行训练。该方法分别在Pascal VOC 2012数据集和增强的Pascal VOC 2012数据集上对网络进行训练,并在Pascal VOC 2012的验证集上进行测试,其平均交并集之比(mIoU)分别达到了78.55%和80.14%,表明该方法具有良好的语义分割性能。     

基于金字塔场景分析网络改进的语义分割算法

图像语义分割是图像识别中的一个经典难题,是机器视觉研究的一个热点。但在实际应用中,会出现语义标签预测不准确、所分割对象与背景之间边缘信息损失问题,这已逐渐成为了图像理解的瓶颈。据此,提出了一种基于金字塔场景分析网络（PSPNet）的网络改进结构,在特征学习模块中将输入图在原残差网络（ResNet）的基础上通过在网络内部增加卷积、池化操作,进一步学习各个层次特征,将所学习到的多个低层次特征图与高层次特征图相加,得到新的具有更多空间位置信息的特征图;为得到丰富的上下文信息,利用PSPNet的金字塔池化结构,将特征图中全局上下文信息与不同尺度局部上下文信息相结合,进行卷积和上采样,得到最终预测图。仿真实验结果表明,所改进的方法在PASCAL VOC 2012测试集中平均交并比（Mean Intersection over Union,MIoU）达到78.5%,较基准算法提升了1.7%。     

结合注意力机制的双路径语义分割

目的 针对现有语义分割算法存在的因池化操作造成分辨率降低导致的分割结果变差、忽视特征图不同通道和位置特征的区别以及特征图融合时方法简单,没有考虑到不同感受视野特征区别等问题,设计了一种基于膨胀卷积和注意力机制的语义分割算法。方法 主要包括两条路径：空间信息路径使用膨胀卷积,采用较小的下采样倍数以保持图像的分辨率,获得图像的细节信息;语义信息路径使用ResNet（residual network）采集特征以获得较大的感受视野,引入注意力机制模块为特征图的不同部分分配权重,使得精度损失降低。设计特征融合模块为两条路径获得的不同感受视野的特征图分配权重,并将其融合到一起,得到最后的分割结果。结果 为证实结果的有效性,在Camvid和Cityscapes数据集上进行验证,使用平均交并比（mean intersection over union,MIoU）和精确度（precision）作为度量标准。结果显示,在Camvid数据集上,MIoU和精确度分别为69.47%和92.32%,比性能第2的模型分别提高了1.3%和3.09%。在Cityscapes数据集上,MIoU和精确度分别为78.48%和93.83%,比性能第2的模型分别提高了1.16%和3.60%。结论 本文采用膨胀卷积和注意力机制模块,在保证感受视野并且提高分辨率的同时,弥补了下采样带来的精度损失,能够更好地指导模型学习,且提出的特征融合模块可以更好地融合不同感受视野的特征。     

互注意力机制驱动的轻量级图像语义分割网络

目的 在图像语义分割中,细节特征和语义特征的融合是该领域的一个难点。一些在特定网络架构下设计的专用融合模块缺乏可扩展性和普适性,自注意力虽然可以实现全局的信息捕获,但不能实现不同特征的融合,其他的注意力机制在进行掩码计算时缺少可解释性。本文根据特征图之间的关联度进行建模,提出一种互注意力机制驱动的分割模块。方法 该模块获取不同阶段的细节特征图和语义特征图,建立细节特征图上任一点和语义特征图之间的关联模型,并在关联模型的指导下对语义特征图上的特征进行聚合,作为细节特征图上该特征点的补充,从而将语义特征图上的信息融合到细节特征图上,并进一步采用相同的操作将细节特征图上的信息融合到语义特征图上,实现来自不同阶段特征图的相互融合。结果 选取5个语义分割模型进行实验,实验结果表明,在使用替换方式对BiSeNet V2（bilateral segmentation network）进行修改之后,浮点运算量、内存占用量和模型参数数量分别下降了8.6%,8.5%和2.6%,但是平均交并比却得到了提升。在使用插入方式对另外4个网络进行修改后,所有网络的平均交并比全部得到了不同程度的提高。结论 本文提出的互注意力模块可普遍提升模型的语义分割准确度,实现不同网络模型的即插即用,具有较高的普适性。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

基于深度可分离空洞卷积金字塔的变压器渗漏油检测

为了降低影响并提高对变压器渗漏油巡检图像的检测效率,提出一种基于深度可分离空洞卷积金字塔的变压器渗漏油检测模型。首先,将空洞金字塔中普通卷积块修改为深度可分离卷积块,以此扩大金字塔感受野,使特征提取网络提取到的特征图语义信息更加丰富;然后,改进了特征提取阶段低阶语义特征与高阶语义特征融合过程,进一步增强特征提取网络产生特征图的语义信息;最后,为了避免经过多次卷积、池化操作后特征图语义信息的损失,在融合过程中引入空间注意力机制和通道注意力机制,进一步增强特征图中的语义信息。与UNet(convolutional networks for biomedical image segmentation)、PSPNet(pyramid scene parseing network)、DeepLabv3+(encoder-decoder with atrous separable convolution for semantic image segmentation)和MCNN(multi-class convolutional neural network)等算法进行对比实验发现,本文所提出网络...     

SAG-Net：用于联合视盘和视杯分割的新型跳过注意力指导网络

学习特征图语义信息和位置信息对于在视网膜图像分割中产生理想的结果至关重要。最近,卷积神经网络在提取特征图有效信息方面已经表现出了强大的能力,然而,卷积和池化操作会过滤掉一些有用的信息。提出了一种新型跳过注意力指导网络SAG-Net来保存特征图语义和位置信息并指导扩展工作。在SAG-Net中,首先引入了跳过注意力门SAtt模块,将其用作敏感的扩展路径来传递先前特征图的语义信息和位置信息,不仅有助于消除噪声,还进一步减小了背景的负面影响。其次,通过合并图像金字塔保留上下文特征来进一步优化SAG-Net。在Drishti-GS1数据集上,联合视盘和视杯分割任务表明了SAG-Net的有效性。综合结果表明,SAG-Net优于原始的U-Net方法以及其他用于视盘和视杯分割的最新的方法。     

DeepLabv3plus-IRCNet：小目标特征提取的图像语义分割

目的 为了解决经典卷积神经网络无法满足图像中极小目标特征提取的准确性需求问题,本文基于DeepLabv3plus算法,在下采样过程中引入特征图切分模块,提出了DeepLabv3plus-IRCNet（IR为倒置残差（inverted residual,C为特征图切分（feature map cut））图像语义分割方法,支撑图像极小目标的特征提取。方法 采用由普通卷积层和多个使用深度可分离卷积的倒置残差模块串联组成的深度卷积神经网络提取特征,当特征图分辨率降低到输入图像的1/16时,引入特征图切分模块,将各个切分特征图分别放大,通过参数共享的方式提取特征。然后,将每个输出的特征图进行对应位置拼接,与解码阶段放大到相同尺寸的特征图进行融合,提高模型对小目标物体特征的提取能力。结果 本文方法引入特征图切分模块,提高了模型对小目标物体的关注,充分考虑了图像上下文信息,对多个尺度下的各个中间层特征进行融合,提高了图像分割精度。为验证方法的有效性,使用CamVid（Cambridge-driving labeled video database）数据集对提出的方法进行验证,平均交并比（mean intersection over union,mIoU）相对于DeepLabv3plus模型有所提升。验证结果表明了本文方法的有效性。结论 本文方法充分考虑了图像分割中小目标物体的关注度,提出的DeepLabv3plus-IRCNet模型提升了图像分割精度。     

结合上下文特征与CNN多层特征融合的语义分割

目的 针对基于区域的语义分割方法在进行语义分割时容易缺失细节信息,造成图像语义分割结果粗糙、准确度低的问题,提出结合上下文特征与卷积神经网络（CNN）多层特征融合的语义分割方法。方法 首先,采用选择搜索方法从图像中生成不同尺度的候选区域,得到区域特征掩膜;其次,采用卷积神经网络提取每个区域的特征,并行融合高层特征与低层特征。由于不同层提取的特征图大小不同,采用RefineNet模型将不同分辨率的特征图进行融合;最后将区域特征掩膜和融合后的特征图输入到自由形式感兴趣区域池化层,经过softmax分类层得到图像的像素级分类标签。结果 采用上下文特征与CNN多层特征融合作为算法的基本框架,得到了较好的性能,实验内容主要包括CNN多层特征融合、结合背景信息和融合特征以及dropout值对实验结果的影响分析,在Siftflow数据集上进行测试,像素准确率达到82.3%,平均准确率达到63.1%。与当前基于区域的端到端语义分割模型相比,像素准确率提高了10.6%,平均准确率提高了0.6%。结论 本文算法结合了区域的前景信息和上下文信息,充分利用了区域的语境信息,采用弃权原则降低网络的参数量,避免过拟合,同时利用RefineNet网络模型对CNN多层特征进行融合,有效地将图像的多层细节信息用于分割,增强了模型对于区域中小目标物体的判别能力,对于有遮挡和复杂背景的图像表现出较好的分割效果。     

基于多尺度特征映射匹配的图像表示方法

在卷积神经网络模型中,空间金字塔池化方法将空间信息融入到深度特征的生成过程中,最终生成的图像表示可以有效地用于提高图像检索性能,但是此方法会导致生成的图像表示中不同维度之间描述的信息存在重复且相同维度描述的图像内容不匹配。为此提出了一种基于多尺度特征映射匹配（multi-scale feature map matching,MFMM）的图像表示方法,此方法首先利用深度特征的方差与协方差矩阵提出了一种特征映射选择算法,用于增强图像表示中不同维度特征的独立性。其次,依据相同通道特征映射中高响应值位置有较高匹配性的特点,结合激活映射中最大响应位置的深度特征提出了一种优化的特征映射中心点选择方法。最后,按照不同的中心点通过多尺度窗口采样的方式,从特征映射中提取出带有空间信息的深度特征用于表示图像内容。实验结果表明,提出的方法在图像检索任务中能够取得良好的效果。     

自适应感受野机制遥感图像分割模型

目的 遥感图像中存在大小、形态不一的目标,增加了目标分割任务的困难性。感受野代表了特征图中每个像素对应输入图像的区域,若感受野与目标形状的契合度较高,则特征图中包含的目标特征更加完整,有利于分割。在现有的分割方法中,通常采用的是正方形的感受野,而遥感图像中目标形状多变,导致感受野无法较好地契合目标形状,在提取目标特征时会引入过多的无用特征,从而影响分割精度。为此,本文提出基于自适应感受野机制的遥感图像分割模型。方法 在编码—解码网络结构的基础上,引入自适应感受野机制。首先在编码器上提取不同大小和宽高比的感受野特征,然后在特征融合时使用通道注意力模块自适应地获取通道权重,通过加权强化与目标形状契合度高的感受野的特征,弱化与目标形状契合度低的感受野的特征,在保留目标特征的同时减少背景特征的干扰,进而提升模型的分割精度。结果 在Inria Aerial Image Labeling数据集与DeepGlobe Road Extraction数据集上进行实验并与相关方法比较,在两个数据集上的平均交并比分别为76.1%和61.9%,平均F1值分别为86.5%和76.5%。结论 本文模型能够提取不同形状感受野的特征,并自适应地获取通道权重,使模型能提取更加完整的目标特征,从而提升目标分割效果。     

多尺度特征融合工件目标语义分割

目的 目标语义特征提取效果直接影响图像语义分割的精度,传统的单尺度特征提取方法对目标的语义分割精度较低,为此,提出一种基于多尺度特征融合的工件目标语义分割方法,利用卷积神经网络提取目标的多尺度局部特征语义信息,并将不同尺度的语义信息进行像素融合,使神经网络充分捕获图像中的上下文信息,获得更好的特征表示,有效实现工件目标的语义分割。方法 使用常用的多类工件图像定义视觉任务,利用残差网络模块获得目标的单尺度语义特征图,再结合本文提出的多尺度特征提取方式获得不同尺度的局部特征语义信息,通过信息融合获得目标分割图。使用上述方法经多次迭代训练后得到与视觉任务相关的工件目标分割模型,并对训练权重与超参数进行保存。结果 将本文方法和传统的单尺度特征提取方法做定性和定量的测试实验,结果表明,获得的分割网络模型对测试集中的目标都具有较精确的分割能力,与单尺度特征提取方法相比,本文方法的平均交并比mIOU（mean intersection over union）指标在验证集上训练精度提高了4.52%,在测试集上分割精度提高了4.84%。当测试样本中包含的目标种类较少且目标边缘清晰时,本文方法能够得到更精准的分割结果。结论 本文提出的语义分割方法,通过多尺度特征融合的方式增强了神经网络模型对目标特征的提取能力,使训练得到的分割网络模型比传统的单尺度特征提取方式在测试集上具有更优秀的性能,从而验证了所提出方法的有效性。     

改进SegNet+CRF高分辨率遥感影像建筑物提取方法

将传统的语义分割SegNet网络用于高分辨率遥感影像的建筑物提取时,分割的建筑物存在边界模糊、精度较低、错检漏检等问题。为了解决上述问题,提出一种改进SegNet网络+CRF语义分割方法。编码阶段的最低分辨率层引入空洞金字塔池化模型,通过并行的空洞卷积操作扩大特征提取的感受野;解码阶段构建特征金字塔实现特征多尺度融合,弥补上采样过程中丢失的特征信息;最后,预测图像送入全连接条件随机场模型进行后处理,优化提取的建筑物边缘。实验表明,相较于原SegNet网络,改进方法的建筑物提取像素精度、召回率、平均交并比分别提高了0.48%、1.29%、2.36%。     

稀疏深度特征对传统显著性检测的优化

目的 显著性目标检测算法主要分为基于低级特征的传统方法和基于深度学习的新方法,传统方法难以捕获对象的高级语义信息,基于深度学习的新方法能捕获高级语义信息却忽略了边缘特征。为了充分发挥两种方法的优势,基于将二者结合的思路,本文利用稀疏能使得显著性对象指向性凝聚的优势,提出了一种基于稀疏自编码和显著性结果优化的方法。方法 对VGG（visual geometry group）网络第4个池化层的特征图进行稀疏自编码处理,得到5张稀疏显著性特征图,再与传统方法得到的显著图一起输入卷积神经网络进行显著性结果优化。结果 使用DRFI（discriminative regional feature integration）、HDCT（high dimensional color transform）、RRWR（regularized random walks ranking）和CGVS（contour-guided visual search）等传统方法在DUT-OMRON、ECSSD、HKU-IS和MSRA等公开数据集上进行实验,表明本文算法有效改善了显著性对象的F值和MAE（mean absolute error）值。在F值提高方面,优化后的DRFI方法提升最高,在HKU-IS数据集上提高了24.53%。在MAE值降低方面,CGVS方法降低最少,在ECSSD数据集上降低了12.78%,降低最多的接近50%。而且本模型结构简单,参数少,计算效率高,训练时间约5 h,图像的平均测试时间约为3 s,有很强的实际应用性。结论 本文提出了一种显著性结果优化算法,实验结果表明算法有效改善了显著性对象F值和MAE值,在对显著性对象检测要求越来越准确的对象识别等任务中有较好的适应性和应用性前景。