基于类特征注意力机制融合的语义分割算法

针对DeepLabv3+模型对图像目标边缘分割不准确、不同类目标分割不一致等问题，提出一种基于类特征注意力机制融合的语义分割算法。该算法在DeepLabv3+模型编码端先设计一个类特征注意力模块增强类别间的相关性，更好地提取和处理不同类别的语义信息。然后采用多级并行的空间金字塔池化结构增强空间之间的相关性，更好地提取图像不同尺度的上下文信息。最后在解码端利用通道注意力模块的特性对多层融合特征重新校准，抑制冗余信息，加强显著特征来提高网络的表征能力。在Pascal Voc2012和Cityscapes数据集上对改进模型进行了有效性和泛化性实验，平均交并比分别达到了81.34%和76.27%，使图像边缘分割更细致，类别更清晰，显著优于本文对比算法。     

基于多重注意力机制的多模态脑肿瘤图像分割

本文提出了一种新型的多模态脑肿瘤图像分割方法,该方法将3种注意力机制与传统U-Net模型相结合,从三维多模态MRI医学图像中分割脑肿瘤。所提出的模型分为编码器、解码器、特征融合和瓶颈层4部分,各采用不同的注意力机制,增强了多模态信息提取能力。在特征融合部分,提出了一种新的注意力模块—注意力门控传播模块(AGPM),该模块将通道注意力和注意力门结合起来,沿通道维度和空间维度依次推断注意力映射;瓶颈层部分,在卷积层之间应用了一个多头自注意力层(MHSA)来增强感受野。此外,在模型的瓶颈层部分加入了一种新的注意力模块—多头特征增强模块(MHFEM),来补充多尺度信息。通过在BraTS2020数据集上的实验结果,表明了所提模型的有效性。     

基于多级分裂HSC·Net的皮肤病图像分割方法

针对皮肤病图像边界模糊且分布不规则、传统卷积分割方法无法满足对边缘细节提取的问题，提出了多级分裂卷积HSC-Net的皮肤病图像分割方法。网络编码端使用ImageNet上的VGG16-BN预训练模型，预训练参数会在训练过程中进行自动微调。将预训练模型中传统的最大池化层用软池化(Soft-pool)层进行替换，以减少传统池化的精度损失。解码端的HSC通过对特征图信息的分级提取，能高效利用特征信息。在解码端融入极化自注意力(Polarized Self-Attention, PSA)机制，使得空间和通道维度上获取更丰富的梯度信息。在ISIC2018数据集上的实验结果显示，精确度、Jaccard指数和Dice指数分别为96.21%、81.88%、81.65%,在准确性、轻量化和边界分割效果上优于现有的分割方法。     

MCA-Net:多尺度综合注意力CNN在医学图像分割中的应用

医学图像自动分割技术具有辅助临床医学诊断的功能.为改善CNN模型在医学图像分割中存在感受野小及细节特征不敏感等问题,基于多尺度策略以及注意力机制,提出一种多尺度综合注意力的U形网络架构,以提升医学图像分割质量.首先,提出一个新的双路径因式分解多尺度融合块,以扩展图像特征的感受野,进一步提取图像特征的细节信息.其次,在架构中融入通道和空间融合自注意力块,利用注意力机制的特性,抑制不相关的部分或背景以突显深层特征的空间信息.最后,引入多尺度注意力块.该模块通过融合多个尺度的特征信息,以突出不同尺度中最显著的特征图来适应当前分割对象的大小.为验证模型的可靠性,将所提出的网络模型应用于肺部、细胞轮廓及肝脏等医学图像分割任务.实验结果表明,所提方法在准确率、Dice系数、AUC及灵敏度等评估指标上均优于目前用于医学图像分割的主流方法.     

基于一种视觉注意力机制的图像描述方法

为了提高由图像生成文字描述的准确率,文中提出了一种基于传统的编码解码框架,分别在编码端和解码端融入视觉注意力机制的方法,即在编码端加入空间注意力机制和图像通道级注意力机制相结合的方法。在解码端运用自适应视觉注意力机制的方法,即在传统的解码端上加入一个额外的“视觉哨兵”模块。文中提出的方法在生成文字描述的过程中自动决定是依赖图像特征还是依赖语义特征,并传递给相应的注意力机制。实验证明,相比较单一的视觉注意力机制,文中方法取得了较高的图像描述语句的正确率,具有更好的图像描述性能。     

融合Transfomer和多尺度并行注意的结直肠息肉分割算法

针对结直肠息肉图像中病灶区域尺度变化大、形状不规则和边界不清晰等复杂特点导致息肉分割精度低、分割边界存在伪影的问题,提出了一种融合Transfomer和多尺度并行注意网络(Fusion of Transfomer and Multiscale Parallel Attention Networks, FTMPA-Net)的结直肠息肉分割算法。选用HarDNet逐层提取语义信息和空间细节,采用多尺度感受场模块(Multiscale Receptive Field Block, RFB)捕获不同感受野下的特征信息,串入高效通道注意力机制提取空间、通道特征的相关性信息,以抑制背景颜色的响应;通过并行解码模块逐层聚合由高效通道注意力机制得到的增强特征图,并生成初始预测分割图用于后续深层监督;提出高效多头注意力机制(Efficient Multi-Head Self-Attention Module, EMHSA)来进一步细化边缘信息,构建区域与边界之间的联系,以提高其分割性能。在CVC-ClinicDB数据集和Kvasir-SEG数据集上对该算法进行测试,平均相似性系数分别为95.58%和92...     

融合多尺度特征信息的图像雨滴去除方法

针对雨滴使雨天图像背景特征模糊失真的问题,提出一种融合多尺度特征信息的图像雨滴去除算法。首先,搭建了一个编码-解码神经网络来学习图像特征映射,考虑到雨滴的物理形状特征,采用雨滴形状驱动注意力模块来捕捉雨滴位置。然后,引入空间与通道协调注意力机制,加强图像重要空间和通道特征权重。接着,利用空洞卷积、非对称卷积和金字塔结构设计了新型空洞空间卷积池化金字塔模块,以捕获图像的多尺度特征。最后,在同尺度的编码-解码卷积层间加入跳跃连接,将特征信息馈送到网络深处,达到去除图像中雨滴的目的。实验结果表明：本文算法在公开数据集Qian上的PSNR达到30.75,SSIM达到0.925 7;在自制雨天数据集上也可以有效去除图像中的雨滴。     

跨模态跨尺度跨维度的PET/CT图像的Transformer分割模型

多模态医学图像能够有效融合解剖图像和功能图像的信息,将人体内部的功能、解剖等多方面信息反映在同一幅图像上,在临床上有十分重要的意义。针对如何高效利用多模态医学图像信息的综合表达能力,以及如何充分提取跨尺度上下文信息的问题,该文提出跨模态跨尺度跨维度的PET/CT图像的Transformer分割模型。该模型主要改进是,首先,在编码器部分设计了PET/CT主干分支和PET, CT辅助分支提取多模态图像信息;然后,在跳跃连接部分设计了跨模态跨维度注意力模块从模态和维度角度出发捕获跨模态图像各维的有效信息;其次,在瓶颈层构造跨尺度Transformer模块,自适应融合深层的语义信息和浅层的空间信息使网络学习到更多的上下文信息,并从中获取跨尺度全局信息;最后,在解码器部分提出多尺度自适应解码特征融合模块,聚合并充分利用解码路径得到精细程度不同的多尺度特征图,缓解上采样引入的噪声。在临床多模态肺部医学图像数据集验证算法的有效性,结果表明所提模型对于肺部病灶分割的Acc, Recall, Dice, Voe, Rvd和Miou分别为97.99%, 94.29%, 95.32%, 92.74%, 92.95%和90.14%,模型对于形状复杂的病灶分割具有较高的精度和相对较低的冗余度。     

基于双解码路径DD-UNet的脑肿瘤图像分割算法

针对医学图像中病灶区域尺度不一、边界模糊和周围组织强度不均匀所导致的分割精度降低问题,提出了一种基于双解码器的脑肿瘤图像分割模型。为了增强特征的表征力,提出了高阶微分残差模块并使用不同空洞率的扩张卷积用于提取特征编码,提高了网络模型的分割性能;引入上下文语义信息感知模块(multi scale dilation, MSD),从不同的目标尺度中提取更多的精细信息,提高了对结构细节信息的捕获能力,同时减少了编解码器之间的特征差异;在空间解码路径中使用选择性聚合空间注意力模块(spatial aggregation attention module, SAAM),增加了对有效空间特征的权重比例,减少了无效的特征干扰。在脑肿瘤数据集上进行了实验验证,实验结果表明,所提算法的Dice系数、平均交并比、敏感性、特异性、准确率等指标分别为：93.35%、90.71%、91.15%、99.94%、96.75%。     

基于上下文注意力机制的实时语义分割

针对实时语义分割网络提取的特征缺少上下文信息,易造成分割结果出现类内不一致和类间不可区分的问题,文中提出了轻量级的自适应通道注意力模块和空间注意力模块。自适应通道注意力模块使用深度分离卷积对通道层面的特征依赖关系进行建模,自适应地调整通道卷积核大小,强化高层特征的上下文表征能力,加强了分割结果的类内一致性。空间注意力模块使用分组卷积,以较小的计算量获得较大的特征信息流动区域,在空间层面加强特征的上下文联系,增强特征的空间细节信息,加强了分割结果的类间可区分性。在Cityscapes数据集上的测试与分析表明,轻量级上下文注意力机制获得了71.5%的mIoU。     

基于改进DeepLabV3+的遥感影像语义分割方法

针对普通卷积神经网络在遥感图像分割中小目标识别度不高、分割精度低的问题，提出了一种结合特征图切分模块和注意力机制模块的遥感影像分割网络AFSM-Net。首先在编码阶段引入特征图切分模块，对每个切分的特征图进行放大，通过参数共享的方式进行特征提取；然后，将提取的特征与网络原输出图像进行融合；最后，在网络模型中引入注意力机制模块，使其更关注图像中有效的特征信息，忽略无关的背景信息，从而提高模型对小目标物体的特征提取能力。实验结果表明，所提方法的平均交并比达到86.42%，相比于DeepLabV3+模型提升了3.94个百分点。所提方法充分考虑图像分割中小目标的关注度，提升了遥感图像的分割精度。     

融合多尺度特征与注意力的脑白质病变分割

针对目前磁共振脑影像上的脑白质病变分割精度较低、小病灶易漏识的问题,提出一种结合多尺度信息与注意力机制的U-Net改进模型用于脑白质病变分割.首先,引入多尺度卷积模块以拓展网络宽度,提升特征捕获能力.其次,引入混合下采样模块,对粗、细两种粒度的下采样特征进行融合以减少下采样过程中的信息损失;同时,引入跨层融合模块,通过对跳跃连接两端的编、解码信息进行融合,降低对等层间的语义差异.最后,在编码阶段采用分散注意力模式,根据深、浅层的不同特点分别设计空间注意力模块和通道注意力模块,以增强网络对病灶区域的关注度.在MICCAI2017 WMHs分割挑战赛提供的公开数据集上与同任务的其它文献算法进行对比,本文算法在召回率和相似系数的性能评估上均获得了有效提升,分别达到了0.834和0.803,这表明本文算法是一种有效的脑白质病变自动分割算法.     

基于改进U-Net网络的腺体细胞图像分割算法

针对腺体图像在自动分割过程中由于多尺度目标和信息丢失影响导致准确率降低的问题,文中采用了一种引入注意力模块的全卷积神经网络模型。该模型遵循编码器-解码器结构,在编码网络中用空洞残差卷积层代替原有的普通卷积层,并添加空洞金字塔池;再在解码网络中加入注意力模块,使模型输出高分辨率特征图,提高对多尺度目标的分割精度。实验结果表明,提出的网络模型参数少分割精度高,对腺体图像的平均分割精度高达89.7%,具有较好的鲁棒性。     

融入残差注意力机制的DeepLabV3+图像拼接篡改取证网络

针对现有图像拼接检测网络模型存在边缘信息关注度不够、像素级精准定位效果不够好等问题,提出一种融入残差注意力机制的DeepLabV3+图像拼接篡改取证方法,该方法利用编-解码结构实现像素级图像的拼接篡改定位。在编码阶段,将高效注意力模块融入ResNet101的残差模块中,通过残差模块的堆叠以减小不重要的特征比重,凸显拼接篡改痕迹;其次,利用带有空洞卷积的空间金字塔池化模块进行多尺度特征提取,将得到的特征图进行拼接后通过空间和通道注意力机制进行语义信息建模。在解码阶段,通过融合多尺度的浅层和深层图像特征提升图像的拼接伪造区域的定位精度。实验结果表明,在CASIA 1.0、COLUMBIA和CARVALHO数据集上的拼接篡改定位精度分别达到了0.761、0.742和0.745,所提方法的图像拼接伪造区域定位性能优于一些现有的方法,同时该方法对JPEG压缩也具有更好的鲁棒性。     

基于鲁棒视觉变换和多注意力的全景图像显著性检测

针对当前全景图像显著性检测方法存在检测精度偏低、模型收敛速度慢和计算量大等问题,该文提出一种基于鲁棒视觉变换和多注意力的U型网络(URMNet)模型。该模型使用球形卷积提取全景图像的多尺度特征,减轻了全景图像经等矩形投影后的失真。使用鲁棒视觉变换模块提取4种尺度特征图所包含的显著信息,采用卷积嵌入的方式降低特征图的分辨率,增强模型的鲁棒性。使用多注意力模块,根据空间注意力与通道注意力间的关系,有选择地融合多维度注意力。最后逐步融合多层特征,形成全景图像显著图。纬度加权损失函数使该文模型具有更快的收敛速度。在两个公开数据集上的实验表明,该文所提模型因使用了鲁棒视觉变换模块和多注意力模块,其性能优于其他6种先进方法,能进一步提高全景图像显著性检测精度。     

面向无人机航摄图像语义分割的双路特征融合网络

针对无人机航摄图像中目标尺寸差异大导致的感受野难以同时兼顾不同尺寸物体分割效果的问题，提出了利用两路分支分别提取浅层和深层信息的双路特征融合网络（DSFA-Net）。在编码器中，浅层分支利用三个串行ConvNeXt模块提取高通道数的浅层特征以保留更多空间细节；深层分支利用坐标注意力空洞空间金字塔池化（CA-ASPP）模块为特征图重新分配权重，使网络更加关注尺寸各异的分割目标，获得深层多尺度特征。在解码过程中，网络利用双边引导融合模块为两层特征建立通信以进行分辨率融合，提高层级特征的利用率。所提方法在AeroScapes和Semantic Drone航摄图像数据集上进行了实验，其平均交并比分别达到83.16%和72.09%、平均像素准确率分别达到90.75%和80.34%。与主流的语义分割方法相比，所提方法对于具有较大尺寸差异的目标，分割能力更强，更适用于无人机航摄图像场景下的语义分割任务。     

基于改进DeepLabV3+的铣床碎屑图像分割方法

针对铣床碎屑形状不规则导致图像分割中碎屑轮廓不清晰、分割精度低的问题,本文提出一种改进的DeepLabV3+铣床碎屑分割算法。首先在DeepLabV3+的Xcepetion模块中嵌入通道与空间注意力机制(convolutional block attention module, CBAM)模型,优化通道的权重和位置信息,加强碎屑图像区域的特征学习;其次将DeepLabV3+的空洞空间卷积池化金字塔(atrous spatial pyramid pooling, ASPP)模块改为密集连接(dense conolutional network, DenseNet)方式,增大碎屑图像特征点的感受野,提升铣床碎屑图像特征的复用效率;最后在解码过程中采用多尺度自适应特征融合方法,聚合多尺度特征作为解码器的输入特征,提高碎屑图像分割的精度与鲁棒性。实验结果表明,本文算法优于其他分割算法,改进后算法相比DeepLabV3+,像素准确率提高0.026,平均交并比(mean intersection over union,MIOU)提高0.020,F₁值提高了0.013。     

多尺度特征融合双U型视网膜分割算法

视网膜血管形态结构是反映人体健康的重要指标 ,针对现有视网膜血管分割存在主 血管模糊、微细血管断裂和视盘误分割等问题,提出多尺度特征融合双U型视网膜分割算 法。首先,利用低层U-Net高效循环残差模块对眼底图像进行粗粒度分割,得到视网膜血 管 初步轮廓。其次,将粗分割图与原始特征图像素相乘送入高层U-Net,利用其缩放宽残差 模 块进行细粒度图像解码,丰富视网膜血管细节信息。同时利用3路径注意力机制复合性连接 双网络的编码层与解码层,实现特征映射跨网络传播,减小上下文语义差异。最后,融合双 层网络输出提取血管区域,双U 型网络能够更深层次提取血管像素,精准分割出视网膜细 节。在DRIVE与STARE数据集上进行实验,其准确率分别为96.45%和97.02%,敏感度分 别为83.35%和81.40%,特异性分别为98.38%和 98.83%,总体性能优于现有算法。     

DECANet：基于改进DeepLabv3+的图像语义分割方法

在图像的语义分割任务中，不同对象之间像素值存在差异，导致现有的网络模型在图像语义分割过程中丢失图像局部细节信息。针对上述问题，提出一种图像语义分割方法（DECANet）。首先，引入通道注意力网络模块，通过对所有通道的依赖关系进行建模提高网络的表达能力，选择性地学习并强化通道特征，提取有用信息，抑制无用信息。其次，利用改进的空洞空间金字塔池化（ASPP）结构，对提取到的图像卷积特征进行多尺度融合，减少图像细节信息丢失，且在权重参数不改变的情况下提取语义像素位置信息，加快模型的收敛速度。最后，DECANet在PASCAL VOC2012和Cityscapes数据集上的平均交并比分别达81.08%和76%，与现有的先进网络模型相比，检测性能更优，可以有效地捕获局部细节信息，减少图像语义像素分类错误。     

基于改进的注意力机制残差网络穴盘幼苗分类算法研究

针对SENet的通道注意力机制特征提取单一和分割的幼苗数据集图片存在部分缺失的难点问题,设计了一种基于双通道注意力机制的残差网络。该网络融合通道注意力机制和空间注意力机制模块,可同时获得通道和空间维度特征权重,提升网络的特征学习能力。提出了一种随机擦除方法,来解决分割样本数据中目标部分缺失的难点问题。在自制的穴盘幼苗Plant＿seed数据集上的实验结果表明,在ResNet34残差模块和conv^*＿x模块之间均引入注意力机制模块的改进网络ResNet34+CBAM＿basic＿conv的准确率最优,达到93.8%,同时对数据集部分图片进行随机擦除后,模型分类的错误率下降,验证了所提方法的优异性能。