基于多维度注意力和多尺度上采样的语义分割研究

语义分割作完成像素级的分类任务,上下文信息对分割的性能有重要的影响。为了获取更丰富的上下文信息,采用ResNet作为主干网络,设计了一个基于多维度注意模块（Multidimensional attention,MDA）和多尺度上采样模块（Multiscale upsampling,MSU）的编码器-解码器结构。多维度注意力模块计算三个维度的注意力矩阵,以获取每个位置的依赖性,同时注意力机制能自适应地捕捉图像特征。多尺度上采样模块采用并行分支来捕获图像的多尺度特征,多尺度特征聚合有效地增强了图像的上下文信息。在Cityscapes和Camvid数据集上进行的一系列实验表明,该网络能有效提升图像分割精度。     

基于改进注意力W-Net的工业烟尘图像分割

针对小目标烟尘尺寸小、边缘稀薄和U-Net在提取小目标烟尘特征效果不佳等原因导致的烟尘漏检、误检和分割精度低等问题,提出一种基于改进注意力W-Net(IAW-Net)的烟尘图像分割网络。采用注意力机制将U-Net扩展为W-Net,在W-Net的基础上引入改进的注意力机制,增强了小目标烟尘的特征;针对小目标烟尘特点对焦点损失进行改进,增加了小目标烟尘的分割比重。实验结果表明,IAW-Net能够在不影响大目标烟尘分割的基础上更加关注小目标烟尘的分割效果,从而提升了烟尘图像的整体分割能力,相比现有语义分割网络具有更好的分割效果。     

双边特征聚合与注意力机制点云语义分割

机器视觉是环境感知的重要手段之一,是自动驾驶、机器人、工业检测等领域的研究热点,而点云数据的精细分析是其中的一项关键技术.针对大尺度真实场景点云数据分割精度低的问题,提出了一种适用于点云数据语义分割的网络结构.首先,构建了一个双边特征聚合结构,通过分别处理点云的几何信息和语义信息,达到充分利用点云特征信息的目的.其次,...     

融合层次特征和注意力机制的轻量化矿井图像超分辨率重建方法

针对矿井图像灰暗模糊、边缘不清晰等问题,提出了一种融合层次特征和注意力机制的轻量化矿井图像超分辨率重建方法。首先设计一种残差坐标注意力模块,在残差块中融入坐标注意力机制,使网络获得更丰富的高频细节信息;其次采用层次特征融合机制,对不同网络层次的特征信息进行特征融合,促进边缘细节信息的重建。最后,再对融合后的特征进行降维以减少模型计算量和参数量。为了使模型在真实矿井场景中具有更好的泛化能力,构建了一种煤矿井下图像数据集CMUID用于网络模型的训练和测试实验。实验结果表明,本文算法的重建图像质量在客观指标和主观感受上均优于其他对比算法。当缩放因子为4时,与OISR算法相比,在煤矿井下数据集上PSNR和SSIM的平均值分别提升了0.318 5 dB和0.012 6,在公共数据集上PSNR和SSIM的平均值分别提升了0.1 dB和0.003 5;网络模型参数量减少了70.7%。     

图像语义分割的深度学习方法综述

基于卷积神经网络的图像语义分割技术在各个领域都得到了广泛应用,尤其是在自动驾驶技术中。语义分割在道路场景图像中的应用非常重要,因为它可以帮助自动驾驶系统理解和识别道路上的不同物体和区域。然而,由于道路图像中的目标结构复杂且尺度不一,对道路场景图像进行准确的分割仍然具有一定的挑战性。目前,存在的主要问题是分割速度较慢,并且传统方法在特征选择方面的能力有限。因此,本文旨在综述图像语义分割领域的深度学习方法,以解决道路场景图像分割中的挑战。     

基于Deeplabv3+和注意力机制的道路场景语义分割方法

在自动驾驶技术研究中,理解道路场景是提高驾驶安全性的保障.语义分割技术可以在像素级别上,将图片分割成与语义类别相关联的不同图像区域,可以辅助车辆感知、理解周围的道路环境信息,从而提高驾驶安全性.当下流行的语义分割模型Deeplabv3+在分割任务中,存在细小目标被漏分割以及外形相似物体容易被误判等现象,导致分割边界粗糙,精准度降低.针对此问题,在Deeplabv3+网络结构的基础上,结合注意力机制加重分割区域的权重,提出一种改进的Deeplabv3+融合注意力机制的道路场景语义分割方法.首先,在Deeplabv3+编码端引入一组并联的位置注意力模块和空间注意力模块,捕获更多空间上下文信息和高级语义信息.然后,在解码端引入注意力机制恢复空间细节信息,并对数据归一化处理,加快模型收敛速度.将不同方式引入注意力机制的模型分割效果进行对比,在CamVid数据集和Cityscapes数据集上进行了测试.实验结果表明,相比Deeplabv3+,改进后的模型分割准确度平均交并比在两个数据集上分别提升了6.88％和2.58％,效果优于Deeplabv3+.该方法不会明显加大网络计算量和复杂度,具有良好的分割速度和准确性的兼顾.     

基于改进DeepLabv3+的遥感图像语义分割算法

针对DeepLabv3+在高分辨率遥感影像的语义分割任务中, 卷积神经网络（Convolutional neural network,CNN）方法提取特征存在着感受野大小固定导致缺乏语义信息、 解码器的高倍率上采样操作和简单的结构导致细节信息保留能力欠缺的问题, 本文提出了一种分层特征融合网络HFFNet（Hierarchical feature fusion network）。首先, 采用Transformer模型和CNN网络架构来提取不同分辨率图像的特征。然后, 独立地进行处理, 将来自Transformer的特征与CNN特征融合, 受不同来源特征的引导, 帮助网络在解码阶段更全面地还原信息。之后, 在解码的最后阶段, 设计了一个空间通道注意力模块, 细化特征, 缩小CNN浅层特征和解码器的深层特征之间的语义差距。实验结果表明, HFFNet在UAVid、 LoveDA、Potsdam和Vaihingen数据集上表现出色, 交并比指标优于DeepLabv3+和其他有竞争性的先进方法, 展现出较强的泛化能力。     

MAAUNet：医学图像语义分割U型编解码结构探索

针对医学图像语义分割面临的分割目标多尺度变化、噪声干扰、分割结果粗糙、训练过程缓慢的问题,基于UNet和MultiResUNet提出了一种多尺度残差带有聚合连接的U型注意力网络结构MAAUNet（MultiRes aggregation attention UNet）。首先,引入了聚合连接。由原来同一级的特征聚合重新设计跳跃连接,在解码器子网处聚合不同语义尺度的特征,进一步解决跳跃连接间可能存在的语义鸿沟问题。其次,在多尺度卷积模块之后加入了卷积块注意力机制模块。在通道和空间两个注意力方向上特征聚焦并集成,以自适应优化中间特征图。最后,对原有的多尺度卷积块做出改进。用串联卷积结构拓展卷积通道,相互补充信息,提取更丰富的空间特征,保留残差连接,使原卷积块变为多通道卷积块,从而使模型可提取多尺度空间特征。实验结果表明,MAAUNet在具有挑战性的数据集上具有很强的竞争力,在应对多尺度输入、噪声干扰的情况时表现出了良好的分割性能和稳定性。     

基于高层特征融合的图像语义分割

在深度学习下的图像语义分割中,为了探究高层特征对于户外场景语义分割性能的影响,在对高层特征进行分析的基础上,提出了融合高层特征的图像语义分割方法。在目前主流深度学习框架Caffe下搭建的分割模型,并采用斯坦福8类户外场景数据集对模型进行了训练和测试。测试结果验证了该方法的有效性和准确性。     

一种结合域自适应的图像语义分割算法

语义分割为图像分配像素级稠密标签,对场景理解具有重要作用,是视觉研究核心任务之一,涉及自动驾驶、医学成像等实际应用.现有基于深度神经网络的图像语义分割方法的训练需要大量标记数据,这些数据的收集和标记成本高昂,这很大程度上限制了此类方法的实际应用.为解决此问题,这里使用成本较低的计算机生成并标记的逼真的合成数据训练深度神...     

融入交叉注意力编码的皮肤病变分割网络

由于卷积操作的局限性,现有的皮肤病变图像分割网络无法对图像中的全局上下文信息建模,导致其无法有效捕获图像的目标结构信息,本文设计了一个融入交叉自注意力编码的U型混合网络,用于皮肤病变图像分割。首先,将设计的多头门控位置交叉自注意力编码器引入到U型网络的最后两个层级中,使其能够在图像中学习语义信息的长期依赖关系,弥补卷积操作全局建模能力的不足;其次,在跳跃连接部分引入一个新的位置通道注意力机制,用于编码融合特征的通道信息并保留位置信息,提高网络捕获目标结构的能力;最后,设计一个正则化Dice损失函数,使网络能够在假阳性和假阴性之间权衡,提高网络的分割结果。基于ISBI2017和ISIC2018数据集的对比实验结果表明,本文网络的Dice分别为91.48%和91.30%,IoU分别为84.42%和84.12%,分割精度在整体上优于其他网络,且具有较低的参数量和计算复杂度,即本文网络能够高效地分割皮肤病变图像的目标区域,可为皮肤疾病辅助诊断提供帮助。     

联合线性引导与网格优化的混凝土裂缝分割

针对混凝土表面裂缝分割过程中分割精度低、细微裂缝漏分和背景干扰等问题,提出一种联合线性引导和网格优化的裂缝分割模型。首先,在主干网络中引入多分支线性引导模块,通过自适应单维度池化增强网络对裂缝线性结构的表达能力,让不同区域的裂缝建立联系,增强全局上下文信息感知能力,提高网络分割精度;然后,提出网格细节优化模块,通过分区-优化-合并三步骤,将整个空间域划分为若干个空间网格,提取空间网格中的细微裂缝信息,防止细微裂缝漏分;最后,在主干网络的跳跃连接处嵌入混合注意力模块,在空间和通道双维度突出裂缝特征,减少背景干扰。在Deepcrack537,Crack500和CFD裂缝数据集上,所提模型的IoU值分别达到77.07%,58.96%和56.55%,F1-score值分别达到87.05%,74.19%和72.24%,明显优于大多数现有方法,具有更高的分割精度。     

基于RA-Unet的CT图像肝脏肿瘤分割

CT图像肝脏肿瘤分割是进行肝癌前期诊断、肿瘤负荷分析和放射治疗的重要前提。为实现肿瘤的精确自动分割,提出一种融合残差模块和注意力机制的深度U形网络。该网络首先在跳跃连接层中引入一条带有反卷积与激活操作的残差路径和卷积模块,实现图像特征的分离传递以及高级表征,确保跳跃连接层主要传递图像边缘信息和小目标全局信息,其次在解码路径中引入注意力机制,通过将跳跃连接层与反卷积解码获得的特征信息赋予不同权重,进一步增强肿瘤特征,抑制其他无关信息。提出方法在LiTS数据集上获得的全局Dice值高达86.71%,明显高于其他多种现有方法,且相较于其他方法,该方法对于小尺寸、对比度低、边界模糊的肿瘤具有明显的分割优势。     

基于注意力机制的毫米波图像隐匿目标自主识别方法

在人体安检中,毫米波成像是一种对人体安全的检测方法。目前,使用平面毫米波扫描人体图像中存在被检测物体较小、边缘模糊等问题,导致传统的目标检测方法实现高准确率的检测变得困难。本文提出应用注意力机制及图像增强方法,提高目标检测方法对人体毫米波图像隐匿物体检测的精确度和召回率。研究结果表明,注意力机制与图像增强方法可提高毫米波图像目标检测的准确率和召回率。     

纹理图像的相位场演化分割研究

为研究在噪声环境下的纹理图像的分割,提出了一种基于相位场演化的纹理图像分割算法。首先在相位场模型中加入了形状统计的能量项,以此指导和约束边缘界面轮廓的演化过程;然后通过对改进相位场模型的梯度流方程的求解,得到了算法的数值解。最后将本研究算法用于纹理图像的分割。实验结果验证了该算法的有效性。     

基于区域划分的多特征纹理图像分割

由于纹理图像的复杂性和多样性,仅依靠传统的单一特征实现纹理图像分割无法满足其对分割精度的要求。本文提出结合区域划分的多特征纹理图像分割方法。首先,依据像素灰度的空间相关性定义多个纹理特征;然后利用区域划分将图像域划分成不同子区域,待分割同质区域由这些子区域拟合而成;通过分别定义多个特征图像的同质区域之间的异质性势能函数和刻画各子区域邻域关系势能函数来定义全局势能函数,并构建非约束吉布斯概率分布,从而建立纹理分割模型;最后,采用M-H算法采样上述概率分布,从而获得最优图像分割结果。分别对模拟纹理图像、遥感图像、自然纹理图像和SAR海冰图像进行了分割实验,并与利用单一特征得到的分割结果进行对比分析,定性和定量的测试结果验证了算法的有效性。     

基于语义信息和注意力机制的低光照图像增强

针对低光照条件下拍摄的图片存在低对比度、噪声等问题,提出了一种结合语义信息与注意力机制的低光照增强方法.首先,利用一对联合训练的U-Net网络,通过共享特征提取器,分别得到低光照图像的初步增强结果和语义信息分布概率图;然后,通过注意力机制模块把通过U-Net网络得到的低光照增强特征和语义特征进行信息融合,解决低光照下图片边缘信息丢失和曝光不足导致的图像模糊不清的问题.实验表明,该方法在处理低光照对比度不高和曝光不均匀图片时,可有效消除图像伪影以及提高图像饱和度与不同区域块的对比度.     

基于图像语义分割的物体位姿估计

为提高机器人在复杂场景中对物体的辨识与定位能力,提出一种基于图像语义分割技术的物体位姿估计方法。将RGBD传感器拍摄的RGB图像放入语义分割网络中,完成对图像的分割与物体分类;将分割出来的目标物体与深度图配准,得到目标物体点云图;将点云图与模型库中的模型运用ICP算法完成对物体的位姿估计。研究结果表明,该方法分割准确率可达82.26%,完成一次位姿估计时间1.35 s。