面向无人机航摄图像语义分割的双路特征融合网络

针对无人机航摄图像中目标尺寸差异大导致的感受野难以同时兼顾不同尺寸物体分割效果的问题，提出了利用两路分支分别提取浅层和深层信息的双路特征融合网络（DSFA-Net）。在编码器中，浅层分支利用三个串行ConvNeXt模块提取高通道数的浅层特征以保留更多空间细节；深层分支利用坐标注意力空洞空间金字塔池化（CA-ASPP）模块为特征图重新分配权重，使网络更加关注尺寸各异的分割目标，获得深层多尺度特征。在解码过程中，网络利用双边引导融合模块为两层特征建立通信以进行分辨率融合，提高层级特征的利用率。所提方法在AeroScapes和Semantic Drone航摄图像数据集上进行了实验，其平均交并比分别达到83.16%和72.09%、平均像素准确率分别达到90.75%和80.34%。与主流的语义分割方法相比，所提方法对于具有较大尺寸差异的目标，分割能力更强，更适用于无人机航摄图像场景下的语义分割任务。     

基于增强多尺度特征解码器的图像语义分割

针对语义分割模型SegFormer在进行图像分割时存在多尺度语义信息利用不充分、细节特征丢失等问题,提出了一种改进的轻量级的语义分割算法,并设计了一个新的解码器来增强多尺度特征表示.采用新提出的瓶颈空间金字塔池化模块（BoSPP）以获得丰富且准确的多尺度信息,所提出模型采用拉普拉斯金字塔来获得编码阶段更精确的高分辨率细节特征,并将其应用于解码阶段来解决细节特征丢失的问题;最后对特征进行逐步融合,以避免上采样率过大导致细节损失,极大地保留丰富的细节特征进而增强最终的语义分割效果. ADE20K数据集的实验结果表明,使用改进后的解码器进行语义分割,在精度和运算量方面都有所改善.以使用MiT-B0编码器的实验为例,其mIoU指标相比原网络提升了1.36%,浮点运算量仅为原网络的51%.实验结果表明,改进后的模型在不增加大量计算成本的情况下提升了模型的分割精度,且浮点运算量更少,改进后的语义分割模型优于原模型,在增强多尺度特征和图像边界细节特征方面有更好的分割效果.     

基于U-Net网络改进算法的视网膜血管分割研究北大核心CSCD

针对视网膜图像血管细小,细节特征丢失、梯度下降、爆炸而导致分割效果差的问题,本文提出了一种引入残差块、循环卷积模块和空间通道挤压激励模块的U-Net视网膜血管图像分割模型。首先通过使用一系列随机增强来扩展训练集并对数据集进行预处理,然后在U-Net模型中引入残差块,避免随着网络深度增加,分割准确率达到饱和然后迅速退化以及优化计算成本;并将U-Net网络的底部替换为循环卷积模块,提取图像低层次的特征,并不断的进行特征积累,增强上下文之间的语义信息,获得更有效的分割模型;最后在卷积层之间嵌入空间通道挤压激励模块,通过找到特征较好的通道,强调这一通道,压缩不相关的通道使得网络模型能够加强关键语义特征信息的学习,通过训练过程学习到有效的特征信息,同时增强抗干扰能力。通过在DRIVE数据集上的验证结果可得,本文所提模型的准确率为98.42%,灵敏度达到了82.36%,特异值达到了98.86%。通过和其他网络分割方法比较,本文所提分割方法具有更优的分割效果。     

基于全卷积神经网络的非对称并行语义分割模型

针对RGB图像具有丰富的色彩细节特征,红外图像对目标轮廓、尺寸、边界等外形特征有较高敏感度的特点,提出了一种非对称并行语义分割模型APFCN（Asymmetric Parallelism Fully Convolutional Networks）.APFCN上路设计了一个卷积核尺寸非统一的五层空洞卷积网络来提取红外图像目标高层轮廓特征;下路沿用卷积加池化网络提取RGB图像三个尺度上的细节特征;后端将红外图像高层特征与RGB图像三个尺度的细节特征进行融合,并将4倍上采样后的融合特征作为语义分割输出.结果表明,APFCN在像素精度和交并比等方面均优于FCN（输入为RGB图像或红外图像）,适用于背景一致下地面目标的语义分割任务.     

基于区域自我注意力的实时语义分割网络

高精度的语义分割结果往往依赖于丰富的空间语义信息与细节信息,但这两者的计算量均较大.为了解决该问题,通过分析图像局部像素具有的相似性,提出了一种基于区域自我注意力的实时语义分割网络.该网络可分别通过一个区域级的自我注意力模块和一个局部交互通道注意力模块计算出特征信息的区域级关联性和通道注意力信息,然后以较少的计算量获取...     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。      

基于空间图卷积的三维点云语义分割

随着科技智能化建设需求的提高，语义分割技术受到图形、图像领域内学者的广泛关注，其为目标跟踪、视觉控制等技术提供有效的决策支持。然而三维点云语义分割模型的运行效率和分割准确率是限制其发展的瓶颈所在。基于此，提出一种基于空间图卷积的三维点云语义分割网络（PCGCN）。PCGCN采用边缘图卷积网络提取局部特征，并使用残差网增强特征的传递，对不同尺度的局部特征进行融合并参与三维点云语义分割。PCGCN解决了在深度学习过程中因局部特征丢失产生的语义分割效果不佳的问题，同时，点云深度学习网络中，残差网的引入提高语义分割的准确度。在ShapeNet和S3DIS数据集上进行实验，实验结果表明，PCGCN在ShapeNet数据集的准确率达到85.1%，在S3DIS数据集的准确率达到81.3%。     

适用于面诊图像分割的轻量级网络

目前，面诊图像脏腑分布区域的分割大多采取传统分割方法或重量级分割网络，存在鲁棒性不强或实时性差的不足。针对上述问题，提出一种结合空洞卷积、通道重排、通道分割和非对称卷积的瓶颈结构，并基于此结构构建一种轻量级面诊图像实时语义分割网络。首先，通过通道分割方法分割通道，分别对分离得到的通道进行非对称卷积和空洞非对称卷积，以实现减少参数量的同时密集提取特征；其次，采用通道重排技术对处理后分离的通道进行重排，以实现通道之间的信息交互；然后，利用残差与输入特征进行连接，丰富特征信息。此外，针对中医面部五脏反射区域存在模糊边界而导致分割效果不佳的问题，提出一种加权边界感知损失函数，在模型训练的过程中给区域边界的像素赋予更大的权重。在单个GTX 1080 GPU上对面诊图像数据集进行实验，总体像素准确率、平均交并比和F1分数分别达到98.34%,86.76%和92.81%，推理速度达到57 f/s，取得整体对比最佳的分割性能。实验结果表明，所提方法能够在保证分割精度的同时实现实时分割。     

基于特征累积的语义分割网络设计

语义分割是一种像素到像素的图像分类任务。而现有方法在处理此类问题时,往往忽略了不同图像之间类别分布的相似性。因此,该文提出了一种基于特征累积的语义分割网络,能够在训练的过程中,使用动量累积的方式,根据每张图像上不同的类别特征,拟合整个数据集的特征分布。除此之外,为了适应通用数据集中复杂的自然环境,该网络尝试对同一类别的特征聚类进行更深层次的划分,并且取得了较好的效果。与同样使用特征通道信息的OCRNet相比,使用ResNet作为骨干网络的情况下,该模型在Pascal Context数据集上平均交并比（mIoU）和平均准确度（mAcc）分别可以提升0.34%和0.64%;实验证明了这一优势在不同数据集、不同骨干网络中同样存在。     

用于嵌入式终端的改进ENet街景语义分割

现有的移动终端实时语义分割算法对图像细节特征的处理能力较差,空间特征丢失严重。针对上述问题,提出了一种融合不同层级空间特征的方法,基于改进的 ENet,在下采样层使用反向残差结构,增加网络计算过程中图像信息的获取,减少下采样造成的图像空间特征丢失。通过空间注意力对图像空间特征进行筛选,增强相关特征,削弱不相关特征。该方法将高分辨率的浅层空间特征与具有丰富语义信息的深层特征融合,提高了网络对图像细节特征的处理能力。实验表明,在 NVIDIA Jetson TX2、NVIDIA Jetson Xavier NX 及 NVIDIA Jetson Xavier AGX 等嵌入式终端上,所提出网络与现有算法相比,其性能在 Cityscapes 数据集上提高了 2.9%,在 CamVid 数据集上提高了 3.2%。      

基于多尺度融合注意力改进UNet的遥感图像水体分割

针对遥感图像水体分割任务，提出了一种多尺度融合注意力模块改进的UNet网络——A-MSFAM-UNet，该方法在GF-2遥感图像水体分割任务中实现了端到端高分辨率遥感图像水体分割。首先，针对以往注意力模块全局池化操作带来的局部信息不敏感问题，设计了一种多尺度融合注意力模块（MSFAM），该模块使用点卷积融合通道全局信息、深度可分离卷积弥补全局池化造成的信息丢失。MSFAM用于UNet跳跃连接后的特征融合部分重新分配特征点权重以提高特征融合效率，增强网络获取不同尺度信息的能力。其次，空洞卷积用于VGG16主干网络扩展感受野，在不损失分辨率的情况下聚合全局信息。结果表明，A-MSFAM-UNet优于其他通道注意力（SENet、ECANet）改进的UNet，在GF-2水体分割数据集上平均交并比（MIoU）、平均像素精度（MPA）和准确率（Acc）分别达到了96.02%、97.98%和99.26%。     

基于Unet的多任务医学图像语义分割模型

深度学习网络在医学图像分割领域应用广泛,针对传统语义分割模型只在局部像素点进行考虑,在小目标的医学图像语义分割中检测精度不高。本文提出了基于Unet的双任务图像语义分割模型,对传统的Unet语义分割进行改进,编码阶段采用经过预训练的Resnet34作为框架进行特征提取,设计了SCSE模块对图像特征信息进行修正,从空间和通道两个方向获取图像的全局信息,损失函数采用“分类”和“分割”融合的多任务策略进行学习,对气胸医学图像进行语义分割。为进一步提高网络模型的泛化能力,对数据集图像进行随机水平翻转、垂直翻转等图像增强处理,实验表明该语义分割方法比传统的Unet语义分割方法在分割精度上提高5%以上。     

基于改进PSPNet的桥梁裂缝图像分割算法

针对传统桥梁裂缝检测算法检测精度低和现有的主流语义分割算法容易丢失裂缝图像细节信息、结果不连续等问题,提出了一种基于改进PSPNet的桥梁裂缝图像分割算法.首先使用无人机采集桥梁图像,通过图像增强处理得到桥梁裂缝数据集;其次通过带有扩张卷积的残差网络初步提取裂缝特征;接着将提取到的特征送入到空间位置自注意力模块(SPAM)和金字塔池化模块的串联结构中,使其能够在空间维度上获得丰富的上下文信息.实验结果表明,与现有的主流语义分割算法相比,所提算法得到的裂缝细节更加丰富,各项分割指标都有较为显著的提升,平均交并比达到84.31％,并能对细小桥梁裂缝进行准确、完整提取.     

基于DeepLabV3+与注意力机制相结合的图像语义分割

基于DeepLabV3+进行图像分割时,在特征提取阶段忽略了不同级别的特征图中存在的特征重要程度不同,丢失了大量的细节信息,致使分割效果不佳.针对该问题,提出了一种基于DeepLabV3+与注意力机制相结合的图像语义分割算法.在骨干网络Xception模型中提取两条低级特征作为解码器的输入特征,提高特征提取的准确性;采...     

多尺度密集注意力网络用于视网膜血管分割

针对视网膜血管分割中有标签图像数据有限、血管结构复杂尺度不一且易受病变区域干扰等问题，提出一种多尺度密集注意力网络用于视网膜血管分割。首先，以U-Net架构为基础，引入并行空间和通道挤压激励注意力密集块（scSE-DB）代替传统卷积层，加强特征传播能力，实现了对特征信息的双重校准，使模型能更好地识别血管像素；其次，在网络底端嵌入级联空洞卷积模块，以捕获多尺度血管特征信息，提升网络获取深层语义特征的能力；最后，在公共数据集DRIVE、CHASE＿DB1和STARE上进行实验，所提网络的准确率分别为96.50%、96.62%和96.75%，灵敏度分别为84.17%、83.34%和80.39%，特异性分别为98.22%、97.95%和98.67%。所提网络的整体分割性能优于现有多数先进算法。     

基于注意力机制与神经架构搜索的实时语义分割网络

在实时语义分割的传统应用中，往往会为了加快模型推断的速度而遗失一些重要的低级细节和高级语义特征，尽管目前推出的许多方法可以使延迟和精度2个指标保证一定平衡，但在特征处理上却未实现对细节信息的高效提取以及聚合。在速度方面，算力开销巨大的分割模型往往在图像分割的实时帧率上差强人意，为解决此问题设计出了一种使语义分割网络能够在低延迟的环境要求下实现高效像素分割的改进结构，先是通过神经架构搜索和自适应注意力机制集成多分辨率搜索分支架构生成师生网络分支，然后用师生蒸馏网络得到具备低延迟和高精度的轻量级网络模型。既可以在硬件资源约束的情况下完成对复杂环境的实时任务处理，也能在Cityspaces数据集上展现出优良的准确率，测试集的分割精度达到了72.2%。     

ConvFormer：基于Transformer的视觉主干网络

针对主流Transformer网络仅对输入像素块做自注意力计算而忽略了不同像素块间的信息交互,以及输入尺度单一导致局部特征细节模糊的问题,本文提出一种基于Transformer并用于处理视觉任务的主干网络ConvFormer. ConvFormer通过所设计的多尺度混洗自注意力模块（Channel-Shuffle and Multi-Scale attention,CSMS）和动态相对位置编码模块（Dynamic Relative Position Coding,DRPC）来聚合多尺度像素块间的语义信息,并在前馈网络中引入深度卷积提高网络的局部建模能力.在公开数据集ImageNet-1K,COCO 2017和ADE20K上分别进行图像分类、目标检测和语义分割实验,ConvFormer-Tiny与不同视觉任务中同量级最优网络RetNetY-4G,Swin-Tiny和ResNet50对比,精度分别提高0.3%,1.4%和0.5%.     

多尺度特征融合双U型视网膜分割算法

视网膜血管形态结构是反映人体健康的重要指标 ,针对现有视网膜血管分割存在主 血管模糊、微细血管断裂和视盘误分割等问题,提出多尺度特征融合双U型视网膜分割算 法。首先,利用低层U-Net高效循环残差模块对眼底图像进行粗粒度分割,得到视网膜血 管 初步轮廓。其次,将粗分割图与原始特征图像素相乘送入高层U-Net,利用其缩放宽残差 模 块进行细粒度图像解码,丰富视网膜血管细节信息。同时利用3路径注意力机制复合性连接 双网络的编码层与解码层,实现特征映射跨网络传播,减小上下文语义差异。最后,融合双 层网络输出提取血管区域,双U 型网络能够更深层次提取血管像素,精准分割出视网膜细 节。在DRIVE与STARE数据集上进行实验,其准确率分别为96.45%和97.02%,敏感度分 别为83.35%和81.40%,特异性分别为98.38%和 98.83%,总体性能优于现有算法。     

基于多级分裂HSC·Net的皮肤病图像分割方法

针对皮肤病图像边界模糊且分布不规则、传统卷积分割方法无法满足对边缘细节提取的问题，提出了多级分裂卷积HSC-Net的皮肤病图像分割方法。网络编码端使用ImageNet上的VGG16-BN预训练模型，预训练参数会在训练过程中进行自动微调。将预训练模型中传统的最大池化层用软池化(Soft-pool)层进行替换，以减少传统池化的精度损失。解码端的HSC通过对特征图信息的分级提取，能高效利用特征信息。在解码端融入极化自注意力(Polarized Self-Attention, PSA)机制，使得空间和通道维度上获取更丰富的梯度信息。在ISIC2018数据集上的实验结果显示，精确度、Jaccard指数和Dice指数分别为96.21%、81.88%、81.65%,在准确性、轻量化和边界分割效果上优于现有的分割方法。     

结合多尺度特征和注意力机制的公路裂缝检测

由于航拍公路裂缝数据缺乏并且裂缝图像存在目标小、分布复杂的特点,导致语义分割模型在航拍公路裂缝检测中效果差,影响模型在实际场景的应用,为此提出基于改进DeeplabV3+的公路裂缝检测方法。构建语义分割模型,选定DeeplabV3+模型并作如下优化：由于低级特征包含更多裂缝细节信息,增加了提取低级特征的路径,从ASPP模块输出的特征为高级特征,高级特征包含更多语义信息,将两者信息进行融合能保证模型不丢失裂缝的细节信息;在网络中嵌入SCSE注意力模块抑制对其他无关信息的响应,改善模型在裂缝数据集检测效果差的问题。实验结果表明,改进DeeplabV3+算法可以有效解决模型对小目标裂缝分割时效果差的问题,模型的检测精度提高了2.59%,具有较强的应用价值,可以为实际公路裂缝检测提供参考。