融合深度信息的室内场景分割算法

针对室内复杂场景中, 图像语义分割存在的特征损失和双模态有效融合等问题, 提出了一种基于编码器-解码器架构的融合注意力机制的轻量级语义分割网络. 首先采用两个残差网络作为主干网络分别对RGB和深度图像进行特征提取, 并在编码器中引入极化自注意力机制, 然后设计引入双模态融合模块在不同阶段对RGB特征和深度特征进行有效融合, 接着引入并行聚合金字塔池化以获取区域之间的依赖性. 最后, 采用3个不同尺寸的解码器将前面的多尺度特征图进行跳跃连接并融合解码, 使分割结果含有更多的细节纹理. 将本文提出的网络模型在NYUDv2数据集上进行训练和测试, 并与一些较先进RGB-D语义分割网络对比, 实验证明本文网络具有较好分割性能.     

平衡多尺度注意力网络的视网膜血管分割算法

针对现有算法对微血管分割精度低、难以区分病灶区域等问题，提出一种平衡多尺度注意力网络用于分割视网膜血管。在编码阶段引入多尺度特征提取模块，提升感受野减少血管细节特征损失；在编码和解码器间增加细节增强模块，突出目标区域提高信息敏感度；设计平衡尺度注意力模块调节细节和语义特征进行最终预测，减少伪影现象。实验结果表明，在DRIVE数据集上分割准确率为96.42%、灵敏度为83.17%、特异性为98.27%,优于现有其它算法。     

一种基于改进ResU-Net的角膜神经分割算法

角膜神经图像的自动分割对于糖尿病神经病变等疾病的诊断与筛查至关重要。针对由于角膜神经图像存在对比度低且包含非神经结构而造成分割效率较低的问题,在ResU-Net结构基础上引入多尺度残差、注意力机制、多尺度图像输入与多层损失函数输出模块,提出一种基于注意力机制的角膜神经分割算法。多尺度残差模块通过在残差模块中加入多尺度表征信息以提高卷积层提取多尺度特征的能力,而注意力机制模块在双重注意力作用下,利用网络对编码器与解码器中的目标特征进行权重优化,使得在增强图像目标区域特征的同时抑制背景及噪声区域,并采用多尺度图像输入与多层函数输出模块以监督网络中每一层的特征学习。实验结果表明,与主流分割算法相比,该算法的分割效果更优,且曲线下面积与敏感度分别可达到0.990和0.880。     

基于倒金字塔深度学习网络的三维医学图像分割

基于深度学习的医学图像分割对医学研究和临床疾病诊断具有重要意义。然而,现有三维脑图像分割网络仅依赖单一模态信息,且最后一层网络的特征表达不准确,导致分割精度降低。引入注意力机制,提出一种基于深度学习的多模态交叉重构的倒金字塔网络MCRAIP-Net。以多模态磁共振图像作为输入,通过三个独立的编码器结构提取各模态的特征信息,并将提取的特征信息在同一分辨率级进行初步融合。利用双通道交叉重构注意力模块实现多模态特征的细化与融合。在此基础上,采用倒金字塔解码器对解码器各阶段不同分辨率的特征进行整合,完成脑组织的分割任务。在MRBrainS13和IBSR18数据集上的实验结果表明,相比3D U-Net、MMAN、SW-3D-Unet等网络,MCRAIP-Net能够充分利用多模态图像的互补信息,获取更准确丰富的细节特征且具有较优的分割精度,白质、灰质、脑脊液的Dice系数分别达到91.67%、88.95%、84.79%。     

基于空间分频的超声图像分割注意力网络

针对医学超声影像噪点多、边界模糊,器官轮廓很难界定的问题,提出了一种基于空间分频的超声图像分割注意力网络（SFDA-Net）。首先,借助Octave卷积在整个网络中对图像实现了高、低频并行处理,从而获得更加多元的信息。然后,加入卷积块注意模块（CBAM）,使图像特征恢复时更加关注有效信息,以减小分割目标整体区域的缺失。最后,使用Focal Tversky Loss作为目标函数,从而降低简单样本的权重并加强对困难样本的关注,以及降低各个类别间因像素误判而引入的误差。通过多组对比实验可知,SFDA-Net的参数量低于原UNet++,而分割精度提高了6.2个百分点,Dice得分提高了8.76个百分点,类别平均像素准确率（mPA）提升至84.09%,平均交并比（mIoU）提升至75.79%。SFDA-Net在降低参数量的同时稳步提高了网络性能,实现了更为准确的超声心动图分割。     

边界感知的实时语义分割网络

目前多数实时语义分割网络不仅同时处理边界和纹理等细节信息而且还忽略了语义边界区域特征,从而导致物体边界分割质量下降。针对该问题,提出一种边界感知的实时语义分割网络,主要从三个方面提高边界语义分割质量。提出了边界感知学习机制利用位置信息降低边界特征和轮廓附近细节的耦合度使边界感知和位置关系相互促进。设计轻量级区域自适应模块增强卷积网络对复杂语义边界区域的建模能力。根据采样区域像素贡献值不同设计了高效的空洞空间金字塔池化模块以增强重要的细节和语义特征。实验方面,与基准相比,在Cityscapes验证集上精度提升了约5.8个百分点,在Cityscapes测试集上以47.2 FPS的推理速度使精度达到了74.9%。在CamVid数据集上与BiSeNetV2算法相比mIoU提升了约3.96个百分点。     

增强语义信息与多通道特征融合的裂缝检测

路面裂缝检测是用以判断道路安全与否的关键技术,由于裂缝的背景复杂多样,传统的裂缝检测算法难以准确检测裂缝。提出了一种增强语义信息与多通道特征融合的裂缝自动检测算法。网络整体为编码器-解码器结构,在编码器部分引入扩张卷积模块,扩大特征图有效感受野,整合图像上下文信息,增强特征语义表达能力,提高像素分类精度。在解码器部分搭建了一个基于注意力机制的多通道特征融合模块,利用高层全局注意力信息指导高层语义特征与低层细节特征的逐级融合,有利于恢复图像细节信息,进一步提升对裂缝的像素级检测精度。实验结果表明,在CRACK500公开数据集上训练的模型在测试集上取得72.5%的平均交并比（Intersection over Union,IoU）和96.8%的F1score,该模型直接用于CrackForest数据集测试,平均IoU和F1score分别提升2.0个百分点和1.1个百分点,表明模型具有很好的泛化性能,可用于复杂道路场景下的裂缝检测与质量评估。     

基于改进HRNet架构的图像语义分割算法应用研究

针对当前主流图像语义分割算法提取的特征图分辨率过低,上采样过程中有效语义信息损失过大,易丢失像素点和目标物体区域相关性的问题,提出了一种基于HRNet-OCR联合交叉注意力机制的图像语义分割算法。该法先采用HRNet替代ResNet作为特征提取骨干网络,保留特征提取过程中的高分辨率信息;然后融合OCR算法对图像进行初步的粗略分割,确定目标对象的大致区域;最后,引入交叉注意力机制模块对像素和对象区域的关联程度加权计算,实现像素的精准分类,保留分割区域的边缘细节。实验结果表明,与常见的分割算法FCN、PSPNet、DeepLabv3+等相比,所提算法在ADE20K、Cityscapes、PASCAL VOC 2012数据集上的mIoU分别提升5.37%、3.09%和2.71%,且可以有效保留细节信息,大幅度改善分割精度。     

多尺度融合增强的纵膈淋巴结超声弹性图像分割

目的 支气管超声弹性成像具有丰富的通道语义信息,精准的分割纵膈淋巴结对诊断肺癌是否转移具有重要意义,也对癌症的分期和治疗有着重要作用。目前,超声弹性图像分割研究较少,没有充分挖掘图像通道特征之间的关系。因此,提出一种结合注意力机制的多尺度融合增强的纵膈淋巴结超声弹性图像分割U-Net(attention-based multi-scale fusion enhanced ultrasound elastic images segmentation network for mediastinal lymph node, AMFE-UNet)。方法首先,考虑到图像可以提供纵膈淋巴结的位置和通道信息,设计密集卷积网络（dense convolutional network,DenseNet）作为模型编码器;其次,结合注意力机制和空洞卷积设计多尺度融合增强解码器,从多尺度和范围对结节的边界和纹理进行建模;最后,用选择性内核网络设计跳跃连接,将编码器的中间特征与解码器的输出特征充分融合。根据解码器特征进行数值或通道融合的方式不同,将AMFE-UNet分为A和B两个子型。结果 在超声弹性图像数据集...     

基于多尺度注意力机制的道路场景语义分割模型

通过对道路场景进行语义分割可以辅助车辆感知周边环境,达到避让行人、车辆以及各类小目标物体障碍的目的,提高行驶的安全性。针对道路场景语义分割中小目标物体识别精度不高、网络参数量过大等问题,提出一种基于多尺度注意力机制的语义分割模型。利用小波变换的多尺度多频率信息分析特性,设计一种多尺度小波注意力模块,并将其嵌入到编码器结构中,通过融合不同尺度及频率的特征信息,保留更多的边缘轮廓细节。使用编码器与解码器之间的层级连接,以及改进的金字塔池化模块进行多方面特征提取,在保留上下文特征信息的同时获得更多的图像细节。通过设计多级损失函数训练网络模型,从而加快网络收敛。在剑桥驾驶标注视频数据集上的实验结果表明,该模型的平均交并比为60.21%,与DeepLabV3+和DenseASPP模型相比参数量减少近30%,在不额外增加参数量的前提下提升了模型的分割精度,且在不同场景下均具有较好的鲁棒性。     

基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割

人体肾脏存在形状的多样性和解剖学的复杂性,囊肿病变也会导致肾脏形状发生大幅变化。为应对CT图像囊肿肾脏自动分割存在的诸多挑战,提出一种新型深度分割网络模型。该模型设计有带残差连接的双注意力模块,在残差结构的基础上,联合空间注意力和通道注意力机制自适应学习更加有效的特征表达。依据U-Net架构,以残差双注意力模块为基础模块构建编码器和解码器,设置层级间的跳跃连接,使网络能够更加关注肾脏区域特征,有效应对肾脏的形状变化。为了验证所提模型的有效性,从医院共采集79位肾囊肿患者的CT图像进行训练和测试,实验结果表明该模型能够准确分割CT图像切片中的肾脏区域,且各项分割指标优于多个经典分割网络模型。     

基于改进自注意力机制的金字塔场景解析网络

金字塔场景解析网络存在图像细节信息随着网络深度加深而丢失的问题，导致小目标与物体边缘语义分割效果不佳、像素类别预测不够准确。提出一种基于改进自注意力机制的金字塔场景解析网络方法，将自注意力机制的通道注意力模块与空间注意力模块分别加入到金字塔场景解析网络的主干网络和加强特征提取网络中，使网络中的两个子网络能够分别从通道和空间两个方面提取图像中更重要的特征细节信息。针对现有的图像降维算法无法更好地提高自注意力机制计算效率的问题，在分析“词汇”顺序对自注意力机制计算结果影响的基础上，利用希尔伯特曲线遍历设计新的图像降维算法，并将该算法加入到空间自注意力模块中，以提高其计算能力。仿真实验结果表明，该方法在PASCAL VOC 2012和息肉分割数据集上的精度均有提高，小目标与物体边缘分割更加精细，其中在VOC 2012训练集中平均交并比与平均像素精度分别达到75.48%、85.07%，较基准算法分别提升了0.68、1.35个百分点。     

基于注意力与金字塔融合的医学图像分割仿真

针对现有的U-Net编解码结构网络的边缘模糊以及上下文信息提取能力弱等问题,提出了在编解码结构网络基础上融合反向注意力和金字塔模块的图像分割网络。网络以Res2Net50作为特征编码器提取特征,在编码器与解码器中引入尺度感知金字塔融合模块,加强网络对上下文信息的提取能力,然后在跳跃连接处加入反向注意力模块,用以提取边缘结构信息,最后使用特征拼接融合特征信息,提升网络模型分割性能。实验结果证明,改进的网络在Liver CT、Finding lungs in CT以及CHAOS数据集上的分割精度均有一定的提升,可以有效改善分割图像边缘模糊等问题。     

基于卷积神经网络的多尺度图像语义分割

针对现有的图像语义分割算法存在的因细节信息丢失导致分割效果不佳的问题,论文提出一种基于DeepLabV3+的改进算法。论文的深度学习网络分为编码器和解码器模块,在编码器模块使用改进的ResNet＿101和空洞空间金字塔池化结构提取多尺度特征,在解码器模块结合多个输出,并且融合图像低层信息,解决目标细节丢失问题。为验证论文算法的有效性,在PASCAL VOC 2012数据集上进行实验,结果表明,改进后的算法在物体细节处理方面得到了良好效果,性能方面有所提升。     

增强细节的RGB‐IR多通道特征融合语义分割网络

现有基于深度学习的语义分割方法对于遥感图像的地物边缘分割不准确,小地物分割效果较差,并且RGB图像质量也会严重影响分割效果。提出一种增强细节的RGB-IR多通道特征融合语义分割网络MFFNet。利用细节特征抽取模块获取RGB和红外图像的细节特征并进行融合,生成更具区分性的特征表示并弥补RGB图像相对于红外图像所缺失的信息。在融合细节特征和高层语义特征的同时,利用特征融合注意力模块自适应地为每个特征图生成不同的注意力权重,得到具有准确语义信息和突出细节信息的优化特征图。将细节特征抽取模块和特征融合注意力模块结构在同一层级上设计为相互对应,从而与高层语义特征进行融合时抑制干扰或者无关细节信息的影响,突出重要关键细节特征,并在特征融合注意力模块中嵌入通道注意力模块,进一步加强高低层特征有效融合,产生更具分辨性的特征表示,提升网络的特征表达能力。在公开的Postdam数据集上的实验结果表明,MFFNet的平均交并比为70.54%,较MFNet和RTFNet分别提升3.95和4.85个百分点,并且对于边缘和小地物的分割效果提升显著。     

融合低阶特征与全局特征的图像语义分割方法

目前,深度全卷积网络在图像语义分割领域已经取得了瞩目的成就,但特征图的细节信息在多次下采样过程中会大量损失,对分割精度造成影响。针对该问题设计了一个用于图像语义分割的深度全卷积网络。该网络采用“编码器-解码器”结构,在编码器后端引入空洞卷积以降低细节信息的损失,在解码过程中融合对应尺寸的低阶语义特征,并在解码器末端融入全局特征以提升模型的分割精度。使用数据增强后的CamVid数据集对网络进行训练和测试,测试结果达到了90.14%的平均像素精度与71.94%的平均交并比。实验结果表明,该网络能充分利用低阶特征与全局特征,有效提升分割性能,并在区域平滑方面有很好的表现。     

基于深度学习的无人机图像语义分割算法研究

已有关于无人机视觉的图像语义分割算法多数是对遥感图像进行分割,无法表现地面细节信息,导致无人机在低空飞行任务中的实时自主环境感知存在障碍。针对该问题,提出一种低空无人机实时图像语义分割方法。设计一种新型的超网络体系结构,在编码器的最后一层加入一个上下文头权重生成模块,在编码器编码结束前生成解码器中每个块的权重,以减少预测时网络的参数量和计算量,达到实时分割的效果。在解码器中,利用局部连接层机制设计一种动态分片卷积算法,在面对跨越多个分片的大型分割对象时充分考虑上下文语义信息,使解码器中每个卷积核的权重随输入特征图的空间位置而变化,同时利用动态权重针对性地分割不同物体,最大程度地提高网络的自适应性。在低空无人机视觉图像数据集上的实验结果表明,该方法对于建筑、道路、静态车等类别图像的平均交并比为66.3%,预测速度达到37.9帧/s,与MSD、ABCNet算法相比,其分割精度分别提升9.3和2.5个百分点。     

融合多维注意力机制CNN皮肤肿瘤图像分割提取

针对卷积神经网络(CNN)在医学图像分割时,受皮肤病损图像多样性、分割目标位置、形状及尺度变化等因素影响,提出了一种基于传统卷积神经网络综合注意力模块图像分割算法。首先利用U-Net主干网络的优势,其目的让图像特征提取更完善；其次,由空间、通道、尺度构成的综合注意力机制对目标病灶区域进行检测识别,利用通道级联把来自编码器中低级图像特征和解码器中高级图像特征注意力结合起来进行权值自适应融合,提升了网络对样本病灶区的关注度和辨识力,突出强调最相关的特征通道和多尺度间最显著的特征图。通过对ISIC2018数据集及医院整形外科提供患者不同类型的皮肤肿瘤图像进行分割测试,并将注意力模块随机组合形成的不同算法进行指标评价比对,所提出算法的平均分割精度可达92.89%。实验结果表明,所提出算法是有效可行的,在多维度下分割处理带复杂背景的皮肤病灶图像时有更高的鲁棒性。     

SA-TF-UNet：基于空间注意力机制和Transformer的MRI海马体分割

目的 海马体内嗅皮层的像素体积较小，这些特征给医学影像的分割任务带来很大挑战。综合海马体的形态特点以及医生的分割流程，提出一种新的海马体分割方法，以实现在临床医学影像处理中对海马体的精确分割，辅助阿尔兹海默症的早期诊断。方法 提出一个基于自注意力机制与空间注意力机制的U型网络模型SA-TF-UNet （hippocampus segmentation network based on Transformer and spatial attention mechanisms）。该网络为端到端的预测网络，输入任意大小的3维MRI （magnetic resonance imaging）影像，输出类别标签。SA-TF-UNet采用编码器—解码器结构，编码器采用纯Transformer模块，不包含卷积模块。多头自注意力机制为Transformer模块中的特征提取器，自注意力模块基于全局信息建模，并提取特征。因此，使用Transformer提取特征符合医生分割海马体的基本思路。解码器采用简单的卷积模块进行上采样。使用AG （attention gate）模块作为跳跃连接的方式，自动增加前景的权重，代替了传统网络中的直接连接。为了验证AG的有效性，分别做了只在单层加入AG的实验，与在4层网络中全部加入AG的实验结果进行对比。为了进一步探讨AG模块中门控信号的来源，设计了两个SA-TF-UNet的变体，它们的网络结构中AG门控信号分别为比AG中的特征图深两层的Transformer模块输出和深3层的Transformer模块输出。结果 为了验证SA-TF-UNet在临床数据集中分割海马体的有效性，在由阿尔兹海默症患者的MRI影像组成的脑MRI数据集上进行实验。4层网络全部加入AG，且AG的门控信号是由比AG特征图更深一层的Transformer模块输出的SA-TF-UNet模型分割效果最好。SA-TF-UNet对于左海马体、右海马体的分割Dice系数分别为0.900 1与0.909 1，相较于对比的语义分割网络有显著提升，Dice系数提升分别为2.82%与3.43%。结论 加入空间注意力机制的以纯Transformer模块为编码器的分割网络有效提升了脑部MRI海马体的分割精度。     

面向医学图像分割的多注意力融合网络

在深度医学图像分割领域中,TransUNet是当前先进的分割模型之一。但其编码器未考虑相邻分块之间的局部联系,在解码器上采样过程中缺乏通道间信息的交互。针对以上问题,提出一种多注意力融合网络（MFUNet）模型。首先,在编码器部分引入特征融合模块（FFM）来增强模型对Transformer中相邻分块间的局部联系并且保持图片本身的空间位置关系;其次,在解码器部分引入双通道注意力（DCA）模块来融合多级特征的通道信息,以增强模型对通道间关键信息的敏感度;最后,通过结合交叉熵损失和Dice损失来加强模型对分割结果的约束。在Synapse和ACDC公共数据集上进行实验,可以看出,MFUNet的Dice相似系数（DSC）分别达到了81.06%和90.91%;在Synapse数据集上的Hausdorff距离（HD）与基线模型TransUNet相比减小了11.5%;在ACDC数据集中右心室和心肌两部分的分割精度与基线模型TransUNet相比分别提升了1.43个百分点和3.48个百分点。实验结果表明,MFUNet在医学图像的内部填充和边缘预测方面均能实现更好的分割效果,有助于提升医生在临床实践中的诊...