基于注意力与金字塔融合的医学图像分割仿真

针对现有的U-Net编解码结构网络的边缘模糊以及上下文信息提取能力弱等问题,提出了在编解码结构网络基础上融合反向注意力和金字塔模块的图像分割网络。网络以Res2Net50作为特征编码器提取特征,在编码器与解码器中引入尺度感知金字塔融合模块,加强网络对上下文信息的提取能力,然后在跳跃连接处加入反向注意力模块,用以提取边缘结构信息,最后使用特征拼接融合特征信息,提升网络模型分割性能。实验结果证明,改进的网络在Liver CT、Finding lungs in CT以及CHAOS数据集上的分割精度均有一定的提升,可以有效改善分割图像边缘模糊等问题。     

融合深度神经网络和空洞卷积的语义图像分割研究

语义分割是计算机视觉中的基本任务,是对图像中的不同目标进行像素级的分割与分类.针对多尺度的目标分割难题,本文提出了一种基于Res Net网络的方法,通过定义并联支路,将浅层特征图像信息融合到深层特征图像中,提出新的空洞空间金字塔模块,该模块采用并行的不同采样率的空洞卷积进行特征提取与融合,从而更有效的提取不同层的特征以及上下文信息,并且在新模块中加入批规范化计算,增强参数调优的稳定性.本文还采用了Adam自适应优化函数,在训练的过程中,使得每个参数的更新都具有独立性,提升了模型训练的稳定性.本文结果在PASCAL VOC 2012语义分割测试集中取得了77.31%mIOU的成果,优于Deeplab V3的效果.     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

基于可逆金字塔和平衡注意力的工业裂缝分割

针对目前工业裂缝分割算法存在细小裂缝易丢失、孤立噪点难消除的问题，提出一种基于可逆金字塔和平衡注意力的工业裂缝分割网络（reversible pyramid and balanced attention network，RPBAN）。提出可逆金字塔模块，在编码器与解码器之间引入特征金字塔和改进后的倒-特征金字塔，加深全局特征与细节特征的融合，从而提升细小裂缝检测性能；在解码阶段引入平衡注意力模块，将平衡特征作为引导信息，有效消除孤立噪点；在学习阶段选取Focal Loss作为损失函数，控制正负样本在训练中所占的权重，使得模型更专注于裂缝样本。通过在自建的输配电线路瓷瓶裂缝数据集InsulatorCrack和三个具有挑战性的公开裂缝数据集CFD、CrackTree200和AEL上进行验证和测试，实验表明与其他基准方法相比，RPBAN提升了细小裂缝检测效果，有效消除了孤立噪点，能够实现更高精度的语义分割。在四个数据集上IoU分别达到61.42%、58.36%、64.45%、53.44%，说明了RPBAN的有效性和通用性。     

基于U形多尺度注意力方法的真实图像去噪

针对真实世界图像去噪算法存在对上下文信息和全局信息利用不足导致的去噪效果不佳问题,提出一种U形金字塔注意力网络(UPCA)。U形结构由多尺度特征模块与长距离通道注意力模块融合形成的金字塔注意力模块组成,U形结构通过拼接操作可以将每一层的输出特征图融合,减少卷积过程以及下采样过程中图像细节特征的丢失。多尺度特征金字塔模块可以更好地利用上下文信息从而更好地恢复出干净的图像,而建立长距离依赖的通道注意力模块可以更好地利用全局信息,提高网络的去噪效果。同时在损失函数部分加入噪声项来加快训练时收敛的速度以及提高去噪效果。UPCA网络在数据集SIDD和DND进行对比实验,验证了UPCA网络的可行性和先进性,同时与同样使用通道注意力的RIDNet相比UPCA网络的PSNR/SSIM指标提升了0.81 dB/0.044,去噪后的效果图直观表现也更好,而且同等参数下训练所需的算力更小。     

基于改进DeepLabV3与Canny算法的路面裂缝语义分割方法

为准确检测混凝土路面裂缝的形态与分裂程度,避免其结构进一步受损,提出了一种改进的DeepLabV3网络语义分割模型。利用Canny算法优异的检测能力对裂缝边缘进行提取,改进分割网络的上采样层进行残差多层采样;优化空洞卷积的扩张率降低感受野,平衡网络对不同尺度裂缝的敏感度;融合并行注意力模块抑制分割模型易产生的伪影效应,获取更具互补性的裂缝特征。在公开数据集上进行训练与预测,在全卷积网络 (FCN)结合条件随机场(CRF)方法、Deep LabV3方法、Deep LabV3+方法与Lraspp方法中开展了对比实验。实验结果表明,本方法的MPA为98.73%,MIOU为87.53%,有效抑制噪声干扰,分割结果精确且连续。     

基于特征融合和注意力机制的超声影像分割网络

针对医学超声影像中图像受斑点噪声干扰、细节信息丢失、目标边界模糊等问题,提出一种基于特征融合和注意力机制的超声影像分割网络,整体结构采用编码器-解码器网络结构。首先,使用编码器模块对图像进行上下文特征提取,提取全局特征信息;然后,设计多尺度特征提取模块,捕获更广泛的语义信息;最后,在解码器模块中加入双注意力机制,沿空间和通道两个维度细化特征信息,加强对超声心动图影像中左心室区域的关注,使模型对有噪声的输入图像具有鲁棒性。实验结果表明,所提出的网络在超声心动图心尖四腔心数据集上的实验分割结果的Dice系数达到93.11%,平均交并比（mIoU）为86.80%,较传统的U-Net卷积神经网络分别提升了3.06个百分点和3.95个百分点,有效获取了左心室区域细节信息和边界信息,取得了较好的分割结果。     

面向目标检测的尺度增强特征金字塔网络

基于特征金字塔网络的目标检测算法没有充分考虑不同目标间的尺度差异以及跨层特征融合过程中高频信息损失问题,使网络无法充分融合全局多尺度信息,导致检测效果不佳.针对这些问题,提出了尺度增强特征金字塔网络.该方法对特征金字塔网络的侧向连接和跨层特征融合方式进行了改进,设计具有动态感受野的多尺度卷积组作为侧向连接来充分提取每一个目标的特征信息,引入基于注意力机制的高频信息增强模块来促进高层特征与底层特征融合.基于MS COCO数据集的实验结果表明,该方法能有效提高各尺度目标的检测精度,整体性能优于现有方法.     

结合自注意力和特征自适应融合的语义分割算法

针对场景图像语义分割任务中存在多尺度目标以及特征提取网络缺乏对全局上下文信息的获取等问题,设计了一种嵌入改进自注意力机制以及自适应融合多尺度特征的双路径分割算法。在空间路径利用双分支的简易下采样模块进行4倍下采样提取高分辨率的边缘细节信息,使网络对目标边界分割更精确。在语义路径嵌入上下文捕获模块和自适应特征融合模块,为解码阶段提供具有丰富多尺度的高语义上下文信息,并采用类别平衡策略进一步提升分割效果。经过实验验证,该模型在Camvid和Aeroscapes数据集上的MIOU(mean intersection over union)指标分别为59.4％和60.1％,具有较好的分割效果。     

增强语义信息与多通道特征融合的裂缝检测

路面裂缝检测是用以判断道路安全与否的关键技术,由于裂缝的背景复杂多样,传统的裂缝检测算法难以准确检测裂缝。提出了一种增强语义信息与多通道特征融合的裂缝自动检测算法。网络整体为编码器-解码器结构,在编码器部分引入扩张卷积模块,扩大特征图有效感受野,整合图像上下文信息,增强特征语义表达能力,提高像素分类精度。在解码器部分搭建了一个基于注意力机制的多通道特征融合模块,利用高层全局注意力信息指导高层语义特征与低层细节特征的逐级融合,有利于恢复图像细节信息,进一步提升对裂缝的像素级检测精度。实验结果表明,在CRACK500公开数据集上训练的模型在测试集上取得72.5%的平均交并比（Intersection over Union,IoU）和96.8%的F1score,该模型直接用于CrackForest数据集测试,平均IoU和F1score分别提升2.0个百分点和1.1个百分点,表明模型具有很好的泛化性能,可用于复杂道路场景下的裂缝检测与质量评估。     

并行注意力机制在图像语义分割中的应用

在卷积神经网络中融入注意力机制越来越成为语义分割强化特征学习的重要方法.提出了一种融合了局部注意力和全局注意力的卷积神经网络.输入图像经主干网络的特征提取,并行输入给局部注意力和全局注意力模块.局部注意力模块以编码-解码结构实现多尺寸的局部特征融合,全局注意力模块根据每个像素与其所在特征图上所有像素的相关性捕获全局信息...     

双通道扩张卷积注意力图像去噪网络*

针对深度学习图像去噪算法存在网络过深导致细节丢失的问题,提出一种双通道扩张卷积注意力网络CEANet。拼接信息保留模块将每一层的输出特征图融合,弥补卷积过程中丢失的图像细节特征进行密集学习;扩张卷积可以在去噪性能和效率之间进行权衡,用更少的参数获取更多的信息,增强模型对噪声图像的表示能力,基于扩张卷积的稀疏模块通过扩大感受野获得重要的结构信息和边缘特征,恢复复杂噪声图像的细节;基于注意力机制的特征增强模块通过全局特征和局部特征进行融合,进一步指导网络去噪。实验结果表明,在高斯白噪声等级为25和50时,CEANet都获得了较高的峰值信噪比均值和结构相似性均值,能够更高效地捕获图像细节信息,在边缘保持和噪声抑制方面,具有较好的性能。相关实验证明了该算法进行图像去噪的有效性。     

多尺度非局部自注意力MRI脑肿瘤分割网络

针对U-Net模型在MRI脑肿瘤分割上存在的感受野受限和全局信息捕获不足问题, 通过引入非局部自注意力机制与多尺度的金字塔卷积提出一种改进U-Net模型—PyCSAU-Net. 该模型以三维U-Net作为基础网络, 在第4层横向连接位置引入扩展的三维非局部注意力模块, 通过改善网络因卷积核大小受限导致的长距离建模能力不足问题来提升脑肿瘤分割精度; 此外, 在网络下采样阶段将普通卷积替换为具有多尺度特点的三维金字塔卷积, 在多级别和分辨率下来提取更具判别性的脑肿瘤深度特征. 在公开的BraTS 2019和BraTS 2020验证集上在完全肿瘤、增强肿瘤和肿瘤核心分割上分别取得了0.904/0.901、0.781/0.774和0.825/0.824的分割精度, 表明所提出PyCSAU-Net方法在脑肿瘤分割任务上的有效性和竞争力.     

结合全局注意力机制的实时语义分割网络

针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network ,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。     

基于注意力融合的语义分割网络

为赋予语义分割网络在给定空间位置下选择性强调整体信息或细节信息的能力,提出了一种注意力融合算法,本算法在空洞空间金字塔池化(ASPP)的基础上融合胶囊网络中动态路由算法.首先,以骨干网络输出作为输入,经过多条并行空洞卷积支路得到不同尺度的特征图.然后,在每一条空洞卷积支路的后面增添一条评估支路来评测该条空洞卷积支路单独...     

结合通道空间加权特征金字塔网络的白细胞检测与分割

白细胞的准确检测和精确分割是一项具有挑战性的医学图像处理任务.在显微镜下获取的白细胞图像会受到染色杂质的影响,且白细胞种类繁多、形态各异、类间差别小,还存在相互重叠相互粘连的现象,导致细胞边缘无法被准确分割,上述问题一直都是白细胞图像检测和分割的难点.针对以上问题,基于Mask R-CNN提出了结合注意力机制多尺度特征融合的白细胞检测方法.在Mask R-CNN结构的基础上,在特征金字塔网络(FPN)模块中融合了注意力机制模块,提出了通道空间加权特征金字塔网络.该结构不仅可以学习特征图中重要通道特征的权重大小,还可以学习层中重要特征区域的表示.同时,在网络结构中加入了Skip-FPN模块,该模块通过短连接融合更多白细胞的底层细节信息,从而更准确地检测白细胞,更精确地进行白细胞的形态分割.实验结果表明,所提方法具有良好的检测与分割性能.在Kaggle开源数据集下,所提方法对白细胞检测的指标mAP值达到了98.25％,与改进前相比提高了1.25％;分割的平均精度mIoU值达到了89.30％,与改进前相比提高了0.002％.     

基于多维注意力融合的驾驶场景分割增强算法

针对使用注意力机制的语义分割模型计算资源消耗与精度不平衡的问题,提出一种轻量化的语义分割注意力增强算法。首先,基于驾驶场景中物体的形状特点设计了条状分维注意力机制,使用条形池化代替传统方形卷积,并结合降维操作分维度提取长程语义关联,削减模型计算量。接着融合通道域与空间域上的注意力,形成可叠加与拆解的轻量化多维注意力融合模块,全方位提取特征信息,进一步提升模型精度。最后,将模块插入基于ResNet-101骨干网的编码—解码网络中,指导高低层语义融合,矫正特征图边缘信息,补充预测细节。实验表明,该模块有较强的鲁棒性和泛化能力,与同类型注意力机制相比,削减了约90%的参数量以及80%的计算量,且分割精度依旧取得了稳定的提升。     

采用双支路与特征融合网络的路沿分割

路沿检测是智能车辆环境感知的重要目标,使用语义分割的方法对路沿目标进行检测。针对语义分割网络不能平衡浅层特征和深度特征的问题,设计了一种具有双支路特征融合的实时路沿分割网络。网络主支使用残差结构模块进行下采样,在特征图分辨率为输入分辨率的1/16时恢复至原来分辨率。采用多个模块来融合浅层空间特征与高级语义特征：使用SDFE(spatial detail feature extraction)模块弥补几何特征的丢失;使用联合特征金字塔（joint feature pyramid,JFP）模块将网络多个阶段具有强语义信息的多尺度特征结合使用;支路中设计了特征注意力机制（feature attention,FA）模块,使用4个卷积归一化,通过注意力模块处理,用来增强空间细节特征的提取;设计了FFM(feature fusion module)模块融合高级语义特征与浅层特征。对网络进行性能评价,该网络测试mIoU为79.65%,FPS为59.6,在道路上进行实车实验,分割快速且效果良好。     

基于Transformer的跨尺度交互学习伪装目标检测

伪装目标检测(COD)旨在精确且高效地检测出与背景高度相似的伪装物体, 其方法可为物种保护、医学病患检测和军事监测等领域提供助力, 具有较高的实用价值. 近年来, 采用深度学习方法进行伪装目标检测成为一个比较新兴的研究方向. 但现有大多数COD算法都是以卷积神经网络(CNN)作为特征提取网络, 并且在结合多层次特征时, 忽略了特征表示和融合方法对检测性能的影响. 针对基于卷积神经网络的伪装目标检测模型对被检测目标的全局特征提取能力较弱问题, 提出一种基于Transformer的跨尺度交互学习伪装目标检测方法. 该模型首先提出了双分支特征融合模块, 将经过迭代注意力的特征进行融合, 更好地融合高低层特征; 其次引入了多尺度全局上下文信息模块, 充分联系上下文信息增强特征; 最后提出了多通道池化模块, 能够聚焦被检测物体的局部信息, 提高伪装目标检测准确率. 在CHAMELEON、CAMO以及COD10K数据集上的实验结果表明, 与当前主流的伪装物体检测算法相比较, 该方法生成的预测图更加清晰, 伪装目标检测模型能取得更高精度.     

基于全局注意力的多尺度显著性检测网络

针对现有算法的多尺度特征融合效果不理想和全局信息利用不充分的问题,提出一种基于多尺度优化和全局注意力的显著目标检测模型.利用特征增强模块对从骨干网络VGG-16中提取出来的粗糙特征进行增强,提升特征的显著性表达能力,对不同层次特征融合得到高层级和低层级特征;设计全局注意力模块,利用空洞空间卷积池化金字塔ASPP模块提取...