一种有效融合多尺度特征的图像语义分割方法

卷积神经网络在高级计算机视觉任务中展现出强 大的特征学习能力,已经在图像语义 分割任务 中取得了显著的效果。然而,如何有效地利用多尺度的特征信息一直是个难点。本文提出一 种有效 融合多尺度特征的图像语义分割方法。该方法包含4个基础模块,分别为特征融合模块(feature fusion module,FFM)、空 间信息 模块(spatial information module,SIM)、全局池化模块(global pooling module,GPM)和边界细化模块(boundary refinement module,BRM)。FFM采用了注意力机制和残差结构,以提高 融合多 尺度特征的效率,SIM由卷积和平均池化组成,为模型提供额外的空间细节信息以 辅助定 位对象的边缘信息,GPM提取图像的全局信息,能够显著提高模型的性能,BRM以残差结构为核心,对特征图进行边界细化。本文在全卷积神经网络中添加4个基础模块, 从而有 效地利用多尺度的特征信息。在PASCAL VOC 2012数据集上的实验结 果表明该方法相比全卷积神 经网络的平均交并比提高了8.7%,在同一框架下与其他方法的对比结 果也验证了其性能的有效性。     

基于局部和全局特征融合的二阶段人脸图像修复算法研究

针对大面积不规则破损的人脸图像修复过程中出现的伪影和不连贯问题,提出一种基于特征融合和多尺度注意力机制的二阶段人脸图像修复算法。在粗修复网络增加全局和局部特征分支来处理编码器的输出。其中,局部特征分支使用多尺度空洞卷积和门控残差连接来聚合上下文信息,并与全局特征分支的输出进行正交融合,提高局部特征与全局特征的相关性,减少特征冗余。在精修复网络增加平均和最大金字塔池化模块,其中,平均池化用于捕捉整体统计信息,最大池化用于提取空间上显著的特征并保留关键信息,并利用通道-空间注意力机制进行图像特征结构调整和纹理生成。最后,构建了一个包括多尺度结构相似性损失的复合函数对网络进行训练。实验结果表明,所提算法在主观和客观评价指标上均优于现有算法。     

DECANet：基于改进DeepLabv3+的图像语义分割方法

在图像的语义分割任务中，不同对象之间像素值存在差异，导致现有的网络模型在图像语义分割过程中丢失图像局部细节信息。针对上述问题，提出一种图像语义分割方法（DECANet）。首先，引入通道注意力网络模块，通过对所有通道的依赖关系进行建模提高网络的表达能力，选择性地学习并强化通道特征，提取有用信息，抑制无用信息。其次，利用改进的空洞空间金字塔池化（ASPP）结构，对提取到的图像卷积特征进行多尺度融合，减少图像细节信息丢失，且在权重参数不改变的情况下提取语义像素位置信息，加快模型的收敛速度。最后，DECANet在PASCAL VOC2012和Cityscapes数据集上的平均交并比分别达81.08%和76%，与现有的先进网络模型相比，检测性能更优，可以有效地捕获局部细节信息，减少图像语义像素分类错误。     

基于3D全卷积网络的腹部动脉CTA分割算法

目前卷积神经网络已成为腹部动脉血管分割领域的研究热点,但经典的卷积网络存在分割精度低和分割血管不连续的问题。为此,文中提出了基于改进3D全卷积网络的腹部动脉血管分割算法。该方法在网络的编码路径上构造不同尺度的侧输入,并将侧输入卷积后的图像与下采样卷积后的图像进行融合,提取更多的特征信息。同时,网络中嵌入了新的多尺度特征提取模块,该模块将通道注意力与密集扩张卷积进行了融合,有效地捕获了更高层次的特征信息。对腹部动脉血管进行分割的结果表明,与其他分割方法相比,所提方法在直观性和定量性上均有提高,证明了该方法能够提升血管分割精度。     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。      

多尺度特征融合U-Net的遥感影像黑臭水体智能检测

研究采用卫星遥感技术获取高分辨率遥感影像水体样本数据集,基于深度卷积神经网络从高分辨遥感影像中提取水体并进行黑臭水体智能监测,提出了一种改进U-Net的黑臭水体检测网络模型(IWDNet)。基于U-Net结构引入跳跃式多尺度特征融合,结合通道注意力机制、卷积注意力模块、通道与空间注意力机制生成不同多尺度特征融合注意力机制(MFFAM)模块进行对比,并引入空洞卷积扩大网络感受野,最终实现黑臭水体的识别检测。实验证明：基于跳跃式多尺度融合与CBAM注意力机制的黑臭水体检测网络(MFFCBAM-IWNet)模型有效提升了识别精度,在高分辨遥感影像水体样本数据集上表现最佳,总体精度达98.56%,Kappa系数达0.978 4。     

基于多尺度及双注意力机制的小尺寸人群计数

本文针对背景干扰、特征信息不足以及尺度剧烈变化等问题,提出了一种基于多尺度及双注意力机制(Multi-Scale and Dual Attention,MSDA)的小尺寸人群计数网络.MSDA网络主要由空间一通道双注意力(Spatial Channel-dual Attention,SCA)模块和多尺度特征融合(Multi-scale Feature Fusion,MFF)模块构成.MFF模块将特征送入三列拥有不同卷积核的膨胀卷积来扩大小目标的空间尺度,再通过特征级联及卷积操作进行多尺度特征融合;SCA模块把特征送入通道注意力网络,使用空间注意力中的池化操作及逐像素相乘操作加强细节信息;最后将处理好的特征送入密度图生成模块,通过1 x 1卷积获得密度图.在Mall数据集和Shanghaitech数据集上进行了测试,取得了较好的准确率与鲁棒性.     

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络——多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。     

基于全卷积神经网络的非对称并行语义分割模型

针对RGB图像具有丰富的色彩细节特征,红外图像对目标轮廓、尺寸、边界等外形特征有较高敏感度的特点,提出了一种非对称并行语义分割模型APFCN（Asymmetric Parallelism Fully Convolutional Networks）.APFCN上路设计了一个卷积核尺寸非统一的五层空洞卷积网络来提取红外图像目标高层轮廓特征;下路沿用卷积加池化网络提取RGB图像三个尺度上的细节特征;后端将红外图像高层特征与RGB图像三个尺度的细节特征进行融合,并将4倍上采样后的融合特征作为语义分割输出.结果表明,APFCN在像素精度和交并比等方面均优于FCN（输入为RGB图像或红外图像）,适用于背景一致下地面目标的语义分割任务.     

基于多尺度偶数卷积注意力U-Net的医学图像分割

为了提高U-Net网络性能的同时尽可能减少额外计算量,本文提出了一种新的多尺度偶数卷积注意力U-Net （Multiscale Even Convolution Attention U-Net, MECAU-Net）网络。该网络在编码端采用2×2偶数卷积代替3×3卷积进行特征提取,并借鉴多尺度思想,采用4×4偶数卷积将得到的信息直接传递给主干部分,以获取更全面的图像信息并减少额外计算开销,同时还采用对称填充解决偶数卷积提取信息过程中产生的偏移问题。此外,在2×2偶数卷积模块后加入卷积注意力模块,结合空间和通道注意力,在提取更丰富的信息的同时几乎不增加额外开销。最后,在两个医学图像数据集上进行仿真实验,实验结果表明提出的MECAU-Net网络相对于U-Net在稍微增加计算成本的情况下,分割性能得到了较大的提升,并比其他对比网络取得更好的分割性能的同时还降低了参数量。      

结合自注意力与卷积神经网络的腺体及息肉分割方法

腺体和息肉的自动分割是人工智能辅助结直肠腺癌诊断的基础，但医学图像中的分割目标大小、形状多变，基于单一的卷积神经网络的自动分割方法已陷入瓶颈。基于此，提出了一种卷积神经网络和自注意力相结合的双分支网络（LG UNet），用以提升分割的精度。首先，基于U-Net设计了Local UNet分支，利用卷积神经网络的优势，学习分割目标的局部信息。然后在Global Transformer分支中，利用Transformer全局依赖关系的学习能力来优化分割细节。最后在编码过程中通过交叉融合模块将Local分支和Global分支的特征图进行融合，将两者优势互补。在腺体分割挑战数据集Glas的两个测试子集Test A和Test B上，以Dice系数和交并比（IOU）系数为主要评价指标，LG UNet的测试结果分别为93.62%、88.44%和88.17%、80.49%。在息肉分割数据集Kvasir-SEG上，LG UNet的Dice系数和IOU系数分别为85.63%和77.82%。实验结果表明，结合Transformer和卷积神经网络优势的LG UNet在腺体和息肉分割上取得了更好的性能。     

基于多尺度池化和范数注意力机制的遥感图像检索

遥感图像内容丰富,一般的深度模型提取遥感图像特征时容易受复杂背景干扰,对关键特征的提取效果不佳,并且难以表达图像的空间信息,该文提出一种基于多尺度池化和范数注意力机制的深度卷积神经网络,在通道层面与空间层面自适应地给显著特征加权.首先,在多尺度池化通道注意力模块中,结合空间金字塔池化的思想,对每个通道上的特征图进行不同...     

基于类特征注意力机制融合的语义分割算法

针对DeepLabv3+模型对图像目标边缘分割不准确、不同类目标分割不一致等问题，提出一种基于类特征注意力机制融合的语义分割算法。该算法在DeepLabv3+模型编码端先设计一个类特征注意力模块增强类别间的相关性，更好地提取和处理不同类别的语义信息。然后采用多级并行的空间金字塔池化结构增强空间之间的相关性，更好地提取图像不同尺度的上下文信息。最后在解码端利用通道注意力模块的特性对多层融合特征重新校准，抑制冗余信息，加强显著特征来提高网络的表征能力。在Pascal Voc2012和Cityscapes数据集上对改进模型进行了有效性和泛化性实验，平均交并比分别达到了81.34%和76.27%，使图像边缘分割更细致，类别更清晰，显著优于本文对比算法。     

融合多尺度特征信息的图像雨滴去除方法

针对雨滴使雨天图像背景特征模糊失真的问题,提出一种融合多尺度特征信息的图像雨滴去除算法。首先,搭建了一个编码-解码神经网络来学习图像特征映射,考虑到雨滴的物理形状特征,采用雨滴形状驱动注意力模块来捕捉雨滴位置。然后,引入空间与通道协调注意力机制,加强图像重要空间和通道特征权重。接着,利用空洞卷积、非对称卷积和金字塔结构设计了新型空洞空间卷积池化金字塔模块,以捕获图像的多尺度特征。最后,在同尺度的编码-解码卷积层间加入跳跃连接,将特征信息馈送到网络深处,达到去除图像中雨滴的目的。实验结果表明：本文算法在公开数据集Qian上的PSNR达到30.75,SSIM达到0.925 7;在自制雨天数据集上也可以有效去除图像中的雨滴。     

一种改进的高分辨率遥感图像语义分割模型

本文针对高分辨率遥感图像的特点,设计了一种端到端的语义分割网络结构模型,高分辨率遥感图像可得到两种图像数据,采用resnet网络对两种图像的特征分别进行提取,并在不同的特征层上进行数据融合,在网络结构的设计中引入了空间位置注意力模块和通道注意力模块,并对底层特征使用不同扩张率的空洞卷积神经网络进行多尺度融合,得到一种新的高分辨率遥感图像语义分割模型,通过对最终的预测性能分析,相比FCN、Unet、Segnet、DeeplabV3+等流行的语义分割模型,该模型在高分辨率遥感图像的预测中具有一定的优势。     

多尺度密集注意力网络用于视网膜血管分割

针对视网膜血管分割中有标签图像数据有限、血管结构复杂尺度不一且易受病变区域干扰等问题，提出一种多尺度密集注意力网络用于视网膜血管分割。首先，以U-Net架构为基础，引入并行空间和通道挤压激励注意力密集块（scSE-DB）代替传统卷积层，加强特征传播能力，实现了对特征信息的双重校准，使模型能更好地识别血管像素；其次，在网络底端嵌入级联空洞卷积模块，以捕获多尺度血管特征信息，提升网络获取深层语义特征的能力；最后，在公共数据集DRIVE、CHASE＿DB1和STARE上进行实验，所提网络的准确率分别为96.50%、96.62%和96.75%，灵敏度分别为84.17%、83.34%和80.39%，特异性分别为98.22%、97.95%和98.67%。所提网络的整体分割性能优于现有多数先进算法。     

融合注意力机制的金属缺陷图像分割方法

由于金属表面缺陷图像的特性,有效精确分割是 图像处理任务中的一大挑战。为了获 得缺陷的类型、大小及位置信息,本文提出一种融合注意力机制的金属缺陷图像分割网络。 该网络分为两条路径,语义信息路径主要由残差块构成的卷积网络获得特征图,采样过程中 分步融合注意力机制以增强特征与背景对比度。旁路路径设计注意力机制模块获得位置信息 的权重图,后将同尺寸的特征图与权重图融合,通过空间金字塔结合多尺度特征。实验结果 表明,运用该算法可以提高金属表面缺陷图像的分割精度。     

面向无人机航摄图像语义分割的双路特征融合网络

针对无人机航摄图像中目标尺寸差异大导致的感受野难以同时兼顾不同尺寸物体分割效果的问题，提出了利用两路分支分别提取浅层和深层信息的双路特征融合网络（DSFA-Net）。在编码器中，浅层分支利用三个串行ConvNeXt模块提取高通道数的浅层特征以保留更多空间细节；深层分支利用坐标注意力空洞空间金字塔池化（CA-ASPP）模块为特征图重新分配权重，使网络更加关注尺寸各异的分割目标，获得深层多尺度特征。在解码过程中，网络利用双边引导融合模块为两层特征建立通信以进行分辨率融合，提高层级特征的利用率。所提方法在AeroScapes和Semantic Drone航摄图像数据集上进行了实验，其平均交并比分别达到83.16%和72.09%、平均像素准确率分别达到90.75%和80.34%。与主流的语义分割方法相比，所提方法对于具有较大尺寸差异的目标，分割能力更强，更适用于无人机航摄图像场景下的语义分割任务。     

改进多图谱配准的三维医学图像分割算法

为提高海马体分割精度与时间效率，在多图谱分割(Multi-Atlas Segmentation, MAS)脑部图像的配准阶段提出可变形配准网络EDUNet。针对浮动图像与固定图像，进行数据预处理，使其受到外界的影响最小，在配准阶段，用ANTs代替传统“粗”配准，利用卷积神经网络(Convolutional Newral Nerwork, CNN)改进“精”配准，对配准场进行估计，并引入注意力机制及空洞卷积模块。注意力机制用于自动学习和优化注意力特征，加强特征表达能力；空洞卷积扩大感受野，获取多尺度信息；配准中使用端到端网络，减少配准时间、提高配准效率。算法在OASIS数据集与LBPA40数据集进行了验证，配准精度可达0.786 3,使用基于局部二元模式的特征提取方法进行标签融合后，最终分割精度较其他方法提升3%～10%,验证了算法的有效性和准确性。     

基于自适应多尺度与轮廓梯度的遥感图像分割网络

遥感图像分割算法易受环境因素干扰，如物体遮挡、光照不均匀等。现有的深度学习遥感图像语义分割方法通常采取端到端的编解码结构，但针对相似度较高物体的结构和轮廓，仍存在分割不准确的问题。为了提高算法鲁棒性、分类准确率，提出一种基于轮廓梯度学习的深度卷积神经网络遥感图像语义分割算法。为了提高预测特征图的质量，首先基于SegNet模型，提出自适应注意力的多通道多尺度特征融合网络（D-MMA Net），其中D-MA block采用基于注意力的自适应多尺度模块，根据学习到的权重自适应地对不同尺度特征进行提取，以获得更多有效的高级语义特征。为进一步细化提取物体的边界，基于Sobel边缘检测算子原理提出可学习的轮廓提取模块。最后将轮廓信息与多尺度语义特征相结合，以增强对图像空间分辨率的鲁棒性。实验结果表明，所提算法提高分割的准确率，对于不规则物体边界，能有良好的分割效果。