基于特征融合和注意力机制的超声影像分割网络

针对医学超声影像中图像受斑点噪声干扰、细节信息丢失、目标边界模糊等问题,提出一种基于特征融合和注意力机制的超声影像分割网络,整体结构采用编码器-解码器网络结构。首先,使用编码器模块对图像进行上下文特征提取,提取全局特征信息;然后,设计多尺度特征提取模块,捕获更广泛的语义信息;最后,在解码器模块中加入双注意力机制,沿空间和通道两个维度细化特征信息,加强对超声心动图影像中左心室区域的关注,使模型对有噪声的输入图像具有鲁棒性。实验结果表明,所提出的网络在超声心动图心尖四腔心数据集上的实验分割结果的Dice系数达到93.11%,平均交并比（mIoU）为86.80%,较传统的U-Net卷积神经网络分别提升了3.06个百分点和3.95个百分点,有效获取了左心室区域细节信息和边界信息,取得了较好的分割结果。     

基于空洞空间金字塔池化和多头自注意力的特征提取网络

针对深度学习在图像处理领域中多尺度特征提取能力弱、特征内部信息捕获能力差的问题,提出了一种基于空洞空间金字塔池化和多头自注意力的特征提取网络（PPSANet）。首先,引入小扩张率的空洞卷积对空洞空间金字塔池化（ASPP）模型进行改进,提高局部特征信息的感受野;其次,将改进的ASPP模型合并到残差网络（ResNet）的每个残差块中,使网络在多个维度上都具有多尺度特征提取能力;最后,将残差网络的底层残差块替换为多头自注意力（MHSA）,增强网络特征学习能力,捕获数据和特征内部的相关性。图像分割实验中,与残差网络相比,在肺结节数据集中DICE相似系数（DICE）提升了5.16个百分点,肝癌数据集中DICE提升了5.22个百分点;目标检测实验中,与残差网络相比,平均精度均值（MAP）提升了2.9个百分点。实验结果表明,PPSANet能够有效解决图像处理中多尺度特征提取能力弱和内部信息捕获能力差的问题,在一定程度上提高了图像处理的能力。     

基于注意力机制编码器-解码器的手写数学公式识别模型

针对现有的手写数学公式识别（HMER）方法经过卷积神经网络（CNN）多次池化后，图像分辨率降低、特征信息丢失，从而引起解析错误的问题，提出基于注意力机制编码器-解码器的HMER模型。首先，采用稠密卷积网络（DenseNet）作为编码器，使用稠密连接加强特征提取，促进梯度传播，并缓解梯度消失；其次，采用门控循环单元（GRU）作为解码器，并引入注意力机制，将注意力分配到图像的不同区域，从而准确地实现符号识别和结构分析；最后，对手写数学公式图像进行编码，将编码结果解码为LaTeX序列。在在线手写数学公式识别竞赛（CROHME）数据集上的实验结果表明，所提模型的识别率提升到40.39%，而在3个级别的允许误差范围内，识别率分别提升到52.74%、58.82%和62.98%。相较于双向长短期记忆（BLSTM）网络模型，所提模型的识别率提高了3.17个百分点；而在3个级别的允许误差范围内，识别率分别提高了8.52、11.56和12.78个百分点。可见，所提模型能够准确地解析手写数学公式图像，生成LaTeX序列，提升识别率。     

多尺度注意力引导的全景分割网络

全景分割是近年来新提出的图像分割任务。现有全景分割模型大都对前景实例对象和背景未定形区采用不同的方式进行特征表示,因此需要额外的后处理和融合操作来处理各种实例重叠和语义冲突问题。全卷积全景分割网络实现了统一的特征表示,省去了这些复杂操作,但其对于前景实例对象的分割准确率不高,对图像中远距离小目标的分割效果不是很理想。针对这些问题,基于全卷积全景分割网络进行改进优化,提出一种多尺度注意力引导的全景分割网络。首先改进特征提取网络,通过在主干网中添加一条自底向上的辅助路径来增强模型的多尺度特征获取能力。其次提出一种注意力模块,通过将空洞空间金字塔池化与通道注意力融合,来引导卷积核更新,生成更匹配的权重。在Cityscapes数据集上与全卷积全景分割网络进行对比实验,图像实例级全景分割质量提高了2.74个百分点,背景未定形区全景分割质量和综合全景分割质量分别提高了1.36个百分点和1.94个百分点,对于交通灯和摩托车等小物体的类别检测准确率分别提高了4.4个百分点和8.3个百分点。提出的全景分割网络综合了全卷积全景分割网络、多尺度特征及注意力机制的优点,使得图像实例级全景分割准确率更高。     

基于特征增强的三维点云语义分割

为挖掘感知点云几何特征并通过特征增强的方式进一步提高点云语义分割效果,提出了一种基于特征增强的点云语义分割网络。首先,通过设计点云的几何特征感知（GFSOP）模块赋予网络点云局部几何结构的感知能力,捕获点间的空间特征以强化语义表征,并利用分层提取特征思想获得多尺度特征。同时,使用空间注意力和通道注意力融合预测点云语义标签,并通过强化空间关联性和通道依赖性提升分割性能。在室内数据集S3DIS(Stanford large-scale 3D Indoor Spaces)上的实验结果显示,所提网络相较于PointNet++在平均交并比（mIoU）上提升了5.7个百分点,在总体准确度（OA）上提升了3.1个百分点,且在存在噪声、点云密度不均和边界不清晰等问题的点云上表现出更强的泛化性能和更加鲁棒的分割效果。     

面向医学图像分割的多注意力融合网络

在深度医学图像分割领域中,TransUNet是当前先进的分割模型之一。但其编码器未考虑相邻分块之间的局部联系,在解码器上采样过程中缺乏通道间信息的交互。针对以上问题,提出一种多注意力融合网络（MFUNet）模型。首先,在编码器部分引入特征融合模块（FFM）来增强模型对Transformer中相邻分块间的局部联系并且保持图片本身的空间位置关系;其次,在解码器部分引入双通道注意力（DCA）模块来融合多级特征的通道信息,以增强模型对通道间关键信息的敏感度;最后,通过结合交叉熵损失和Dice损失来加强模型对分割结果的约束。在Synapse和ACDC公共数据集上进行实验,可以看出,MFUNet的Dice相似系数（DSC）分别达到了81.06%和90.91%;在Synapse数据集上的Hausdorff距离（HD）与基线模型TransUNet相比减小了11.5%;在ACDC数据集中右心室和心肌两部分的分割精度与基线模型TransUNet相比分别提升了1.43个百分点和3.48个百分点。实验结果表明,MFUNet在医学图像的内部填充和边缘预测方面均能实现更好的分割效果,有助于提升医生在临床实践中的诊...     

基于通道注意力和Transformer的图像标题生成方法

图像标题生成是指通过计算机将图像翻译成描述该图像的标题语句。针对现有图像标题生成任务中，未充分利用图像的局部和全局特征以及时间复杂度较高的问题，本文提出一种基于卷积神经网络（Convolution Neural Networks,CNN）和Transformer的混合结构图像标题生成模型。考虑卷积网络所具有的空间和通道特性，首先将轻量化高精度的注意力ECA与卷积网络CNN进行融合构成注意力残差块，用于从输入图像中提取视觉特征；然后将特征输入到序列模型Transformer中，在编码器端借助自注意学习来获得所参与的视觉表示，在语言解码器中捕获标题中的细粒度信息以及学习标题序列间的相互作用，进而结合视觉特征逐步得到图像所对应的标题描述。将模型在MSCOCO数据集上进行实验，BLEU-1、BLEU-3、BLEU-4、Meteor和CIDEr指标分别提高了0.3、0.5、0.7、0.4、1.6个百分点。     

基于自监督图像对的弱监督语义分割算法

为了降低语义分割任务的标注成本,提出一种基于自监督图像对的弱监督语义分割算法Co-Net。首先,将一对图像分别输入骨干网络中提取图像对特征;然后,将特征展开加入位置信息送入编码层中进行编码;接着,将编码特征送入协同注意力模块（CoAM）以及双向自注意力模块（BiAM）中进行信息相互表征;最后,将图像区域掩码模型（MRM）以及图像对匹配（IPM）两种自监督任务用于网络训练,学习图像对中的全局关联以及局部关联,以此得到更加精确的初始化种子。仅使用图像级标签进行弱监督语义分割,在Pascal VOC 2012验证和测试集上分别实现了69.8%和70.3%的平均交并比（mIoU）,相较于同样为图像对输入的算法GroupWSSS(Group-Wise Semantic mining for weakly Supervised Semantic Segmentation),验证集、测试集上的mIoU分别提高了1.6、1.8个百分点。实验结果表明,所提算法可以获得更加完整的目标激活区域。     

基于Transformer的脊椎CT图像分割

目的 脊椎CT（computed tomography）图像存在组织结构显示不佳、对比度差以及噪音干扰等问题;传统分割算法分割精度低,分割过程需人工干预,往往只能实现半自动分割,不能满足实时分割需求。基于卷积神经网络（convolutional neural network,CNN）的U-Net模型成为医学图像分割标准,但仍存在长距离交互受限的问题。Transformer集成全局自注意力机制,可捕获长距离的特征依赖,在计算机视觉领域表现出巨大优势。本文提出一种CNN与Transformer混合分割模型TransAGUNet （Transformer attention gate U-Net）,以实现对脊椎CT图像的高效自动化分割。方法 提出的模型将Transformer、注意力门控机制（attention gate,AG）及U-Net相结合构成编码—解码结构。编码器使用Transformer和CNN混合架构,提取局部及全局特征;解码器使用CNN架构,在跳跃连接部分融入AG,将下采样特征图对应的注意力图（attention map）与下一层上采样后获得的特征图进行拼接,融合低层与高层特征从而实现更精细的分割。实验使用Dice Loss与带权重的交叉熵之和作为损失函数,以解决正负样本分布不均的问题。结果 将提出的算法在VerSe2020数据集上进行测试,Dice系数较主流的CNN分割模型U-Net、Attention U-Net、U-Net++和U-Net3+分别提升了4.47%、2.09%、2.44%和2.23%,相较优秀的Transformer与CNN混合分割模型TransUNet和TransNorm分别提升了2.25%和1.08%。结论 本文算法较以上6种分割模型在脊椎CT图像的分割性能最优,有效地提升了脊椎CT图像的分割精度,分割实时性较好。     

基于双注意力编码-解码器架构的视网膜血管分割

眼底视网膜血管的分割提取对于糖尿病、视网膜病、青光眼等眼科疾病的诊断具有重要的意义。针对视网膜血管图像中的血管难以提取、数据量较少等问题,文中提出了一种结合注意力模块和编码-解码器结构的视网膜血管分割方法。首先对编码-解码器卷积神经网络的每个卷积层添加空间和通道注意力模块,加强模型对图像特征的空间信息和通道信息(如血管的大小、形态和连通性等特点)的利用,从而改善视网膜血管的分割效果。其中,空间注意力模块关注于血管的拓扑结构特性,而通道注意力模块关注于血管像素点的正确分类。此外,在训练过程中采用Dice损失函数解决了视网膜血管图像正负样本不均衡的问题。在3个公开的眼底图像数据库DRIVE,STARE和CHASE_DB1上进行了实验,实验数据表明,所提算法的准确率、灵敏度、特异性和AUC值均优于已有的视网膜血管分割方法,其AUC值分别为0.9889,0.9812和0.9831。实验证明,所提算法能够有效提取健康视网膜图像和病变视网膜图像中的血管网络,能够较好地分割细小血管。     

面向刻蚀图像分割的轻量可变形编解码网络

通过分割刻蚀图像计算驱油率是目前衡量油藏驱替技术的重要手段。由于刻蚀图像边缘模糊、噪声大且水油像素分散,目前主流的图像分割网络分割精度低、分割速度慢,难以获得较好的分割结果。提出一种用于刻蚀图像分割的轻量可变形编解码网络（LDNet）。在特征编码阶段利用偏移量学习水油目标形状和边缘特征,改善网络的特征表达能力,并通过深度卷积和逐点卷积有效降低网络参数量。在特征融合阶段设计协同耦合注意力模块,将通道注意力进行分解,并分别沿2个空间方向聚合特征,将特征图编码为方向和位置感知的特征图,从而将位置信息嵌入到通道注意力中,提升模型的鲁棒性。实验结果表明,LDNet网络的分割精度为89.94%,模型大小仅为16.63×10⁶,在资源受限的设备中有效提高刻蚀图像的分割精度,降低驱油率误差,加快模型的推理速度。     

基于深度学习的轻量级道路图像语义分割算法

针对深度学习中道路图像语义分割模型参数量巨大以及计算复杂,不适合于部署在移动端进行实时分割的问题,提出了一种使用深度可分离卷积构建的轻量级对称U型编码器-解码器式的图像语义分割网络MUNet。首先设计出U型编码器-解码器式网络;其次,在卷积块之间设计稀疏短连接;最后,引入了注意力机制与组归一化（GN）方法,从而在减少模型参数量以及计算量的同时提升分割精度。针对道路图像CamVid数据集,在1 000轮训练后,MUNet模型分割结果在测试图像裁剪为720×720大小时的平均交并比（MIoU）为61.92%。实验结果表明,和常见的图像语义分割网络如金字塔场景分析网络（PSPNet）、RefineNet、全局卷积网络（GCN）和DeepLabv3+相比较,MUNet的参数量以及计算量更少,同时网络分割性能更好。     

基于可分离金字塔的轻量级实时语义分割算法

针对现有语义分割算法参数量过多、内存占用巨大导致其很难满足自动驾驶需要等现实应用的问题,提出一种基于可分离金字塔模块（SPM）的新颖、有效且轻量的实时语义分割算法。首先,利用特征金字塔形式的分解卷积和扩张卷积来构建瓶颈结构,从而以一种简单但有效的方式提取局部和上下文信息;然后,提出基于计算机视觉注意力的上下文通道注意力（CCA）模块,来利用深层语义修改浅层特征图通道权重优化分割效果。实验结果显示：所提出的算法在Cityscapes测试集上以每秒91帧的速度达到了71.86%的平均交并比（mIoU）。相较高效残差分解卷积网络（ERFNet）,所提算法mIoU提高了3.86个百分点,处理速度是其2.2倍;与最新的非局部高效实时算法（LRNNet）相比,所提算法mIoU略低0.34个百分点,但处理速度每秒上升了20帧。实验结果表明,所提算法有助于完成如自动驾驶中要求的高效、准确的街道场景图像分割任务。     

改进U-Net的高分辨率遥感图像轻量化分割

针对传统图像分割方法分割效率低下,遥感图像特征复杂多样,复杂场景下分割性能受到限制等问题,在基于U-Net网络架构的基础上,提出一种能够较好提取遥感图像特征并兼顾效率的改进U-Net模型.首先,以EfficientNetV2作为U-Net的编码网络,增强特征提取能力,提高训练和推理效率,然后在解码部分使用卷积结构重参数化方法并结合通道注意力机制,几乎不增加推理时间的前提下提升网络性能,最后结合多尺度卷积融合模块,提高网络对不同尺度目标的特征提取能力和更好地结合上下文信息.实验表明,改进的网络在遥感图像分割性能提升的同时分割效率也提高.     

多尺度融合增强的纵膈淋巴结超声弹性图像分割

目的 支气管超声弹性成像具有丰富的通道语义信息,精准的分割纵膈淋巴结对诊断肺癌是否转移具有重要意义,也对癌症的分期和治疗有着重要作用。目前,超声弹性图像分割研究较少,没有充分挖掘图像通道特征之间的关系。因此,提出一种结合注意力机制的多尺度融合增强的纵膈淋巴结超声弹性图像分割U-Net(attention-based multi-scale fusion enhanced ultrasound elastic images segmentation network for mediastinal lymph node, AMFE-UNet)。方法首先,考虑到图像可以提供纵膈淋巴结的位置和通道信息,设计密集卷积网络（dense convolutional network,DenseNet）作为模型编码器;其次,结合注意力机制和空洞卷积设计多尺度融合增强解码器,从多尺度和范围对结节的边界和纹理进行建模;最后,用选择性内核网络设计跳跃连接,将编码器的中间特征与解码器的输出特征充分融合。根据解码器特征进行数值或通道融合的方式不同,将AMFE-UNet分为A和B两个子型。结果 在超声弹性图像数据集...     

融合多注意力机制的脊椎图像分割方法

针对脊椎CT、MR图像分割模型分割性能不高的问题,基于U型网络提出了脊椎分割网络MAU-Net。首先引入坐标注意力模块,使网络准确捕获到空间位置信息,并嵌入到通道注意力中;然后提出基于Transformer的双支路通道交叉融合模块代替跳跃连接,进行多尺度特征融合;最后提出特征融合注意力模块,更好地融合Transformer与卷积解码器的语义差异。在脊柱侧凸CT数据集上,Dice达到0.929 6,IoU达到0.859 7。在公开MR数据集SpineSagT2Wdataset3上,与FCN相比,Dice提高14.46%。实验结果表明,MAU-Net能够有效减少椎骨误分割区域。     

融合改进ASPP和极化自注意力的自底向上全景分割

目的 针对ASPP（atrous spatial pyramid pooling）在空洞率变大时空洞（atrous）卷积效果会变差的情况,以及图像分类经典模型ResNet （residual neural network）并不能有效地适用于细粒度图像分割任务的问题,提出一种基于改进ASPP和极化自注意力的自底向上全景分割方法。方法 重新设计ASPP模块,将小空洞率卷积的输出与原始输入进行拼接（concat）,将得到的结果作为新的输入传递给大空洞率卷积,然后将不同空洞率卷积的输出结果拼接,并将得到的结果与ASPP中的其他模块进行最后拼接,从而改善ASPP中因空洞率变大导致的空洞卷积效果变差的问题,达到既获得足够感受野的同时又能编码多尺度信息的目的;在主干网络的输出后引入改进的极化自注意力模块,实现对图像像素级的自我注意强化,使其得到的特征能直接适用于细粒度像素分割任务。结果 本文在Cityscapes数据集的验证集上进行测试,与复现的基线网络Panoptic-DeepLab（58.26%）相比,改进ASPP模块后分割精度PQ（panoptic quality）（58.61%）提高了0.35%,运行时间从103 ms增加到124 ms,运行速度没有明显变化;通过进一步引入极化自注意力,PQ指标（58.86%）提高了0.25%,运行时间增加到187 ms;通过对该注意力模块进一步改进,PQ指标（59.36%）在58.86%基础上又提高了0.50%,运行时间增加到192 ms,速度略有下降,但实时性仍好于大多数方法。结论 本文采用改进ASPP和极化自注意力模块,能够更有效地提取适合细粒度像素分割的特征,且在保证足够感受野的同时能编码多尺度信息,从而提升全景分割性能。     

结合上下文编码与特征融合的SAR图像分割

目的 图像分割的中心任务是寻找更强大的特征表示,而合成孔径雷达(synthetic aperture radar, SAR)图像中斑点噪声阻碍特征提取。为加强对SAR图像特征的提取以及对特征充分利用,提出一种改进的全卷积分割网络。方法 该网络遵循编码器—解码器结构,主要包括上下文编码模块和特征融合模块两部分。上下文编码模块(contextual encoder module, CEM)通过捕获局部上下文和通道上下文信息增强对图像的特征提取;特征融合模块(feature fusion module, FFM)提取高层特征中的全局上下文信息,将其嵌入低层特征,然后将增强的低层特征并入解码网络,提升特征图分辨率恢复的准确性。结果 在两幅真实SAR图像上,采用5种基于全卷积神经网络的分割算法作为对比,并对CEM与CEM-FFM分别进行实验。结果显示,该网络分割结果的总体精度(overall accuracy, OA)、平均精度(average accuracy, AA)与Kappa系数比5种先进算法均有显著提升。其中,网络在OA上表现最好,CEM在两幅SAR图像上OA分别为91.082%和90...     

融合多维注意力机制CNN皮肤肿瘤图像分割提取

针对卷积神经网络(CNN)在医学图像分割时,受皮肤病损图像多样性、分割目标位置、形状及尺度变化等因素影响,提出了一种基于传统卷积神经网络综合注意力模块图像分割算法。首先利用U-Net主干网络的优势,其目的让图像特征提取更完善；其次,由空间、通道、尺度构成的综合注意力机制对目标病灶区域进行检测识别,利用通道级联把来自编码器中低级图像特征和解码器中高级图像特征注意力结合起来进行权值自适应融合,提升了网络对样本病灶区的关注度和辨识力,突出强调最相关的特征通道和多尺度间最显著的特征图。通过对ISIC2018数据集及医院整形外科提供患者不同类型的皮肤肿瘤图像进行分割测试,并将注意力模块随机组合形成的不同算法进行指标评价比对,所提出算法的平均分割精度可达92.89%。实验结果表明,所提出算法是有效可行的,在多维度下分割处理带复杂背景的皮肤病灶图像时有更高的鲁棒性。     

一种改进的DenseASPP网络在遥感图像分割中的应用

针对遥感图像语义分割中目标尺度相差较大以及边界模糊等问题,对DenseASPP网络进行改进.引入通道注意力模型和空间注意力模型,使关键特征点在网络中具有更大的权重;在带孔卷积采样时使用分组卷积的方式,同时在训练时采用剪枝策略,舍去权值较低的连接,实现网络的稀疏化,有效克服DenseASPP内存占用过大的问题.改进后的网络在不同场景遥感图像测试的平均精度上比DenseASPP提高了1.1百分点,测试时间减少到DenseASPP的1/5.