基于Swin Transformer的嵌入式零样本学习算法

零样本学习旨在解决样本缺失情况下的分类问题.以往嵌入式零样本学习算法通常只利用可见类构建嵌入空间,在测试时不可避免会出现过拟合可见类的问题.基于此本文提出了一种基于类别语义相似度的多标签分类损失,该损失可在构建嵌入空间的过程中引导模型同时考虑与当前可见类语义上相似的未见类,进而将语义空间的相似性迁移到最终执行分类的嵌入空间.同时现有零样本学习算法大部分直接使用图像深度特征作为输入,特征提取过程没有考虑语义信息,基于此本文采用Swin Transformer作为骨干网络,输入原始图片利用自注意力机制得到基于语义信息的视觉特征.本文在3个零样本学习基准数据集上进行了大量实验,与目前最先进的算法相比取得了最佳的调和平均精度.     

基于Swin Transformer的遥感影像道路提取方法

在先进的交通系统中,道路提取是最重要的任务之一。高分辨率遥感影像道路区域的提取具有复杂的背景和道路网络的异质性、高类间差异和低类内差异等特点。近几年来,卷积神经网络(CNN)在道路提取方面取得了里程碑式的进展。虽然CNN已经取得了很好的发展,但是由于卷积运算的局域性,网络无法很好地学习全局和长程语义信息交互。本文提出了Swin Transformer Unet,它结合了带有跳跃连接的U型编解码器结构和带有移位窗口的Swin Transformer模块。为了获得更好的性能,本文采用了数据增广、数据预处理等技术。本文选取马萨诸塞州道路数据集作为数据集进行道路提取实验,结果表明,所提出的网络在遥感图像道路提取中的性能优于其他U形网络,可以实现遥感影像道路的精确提取。     

融合型UNet++网络的超声胎儿头部边缘检测

目的 超声胎儿头部边缘检测是胎儿头围测量的关键步骤,因胎儿头部超声图像边界模糊、超声声影造成图像中胎儿颅骨部分缺失、羊水及子宫壁形成与胎儿头部纹理及灰度相似的结构等因素干扰,给超声胎儿头部边缘检测及头围测量带来一定的难度。本文提出一种基于端到端的神经网络超声图像分割方法,用于胎儿头部边缘检测。方法 以UNet++神经网络结构为基础,结合UNet++最后一层特征,构成融合型UNet++网络。训练过程中,为缓解模型训练过拟合问题,在每一卷积层后接一个空间dropout层。具体思路是通过融合型UNet++深度神经网络提取超声胎儿头部图像特征,通过胎儿头部区域概率图预测,输出胎儿头部语义分割的感兴趣区域。进一步获取胎儿的头部边缘关键点信息,并采用边缘曲线拟合方法拟合边缘,最终测量出胎儿头围大小。结果 针对现有2维超声胎儿头围自动测量公开数据集HC18,以Dice系数、Hausdorff距离（HD）、头围绝对差值（AD）等指标评估本文模型性能,结果Dice系数为98.06%,HD距离为1.21±0.69 mm,头围测量AD为1.84±1.73 mm。在妊娠中期测试数据中,Dice系数为98.24%,HD距离为1.15±0.59 mm,头围测量AD为1.76±1.55 mm。在生物医学图像分析平台Grand Challenge上HC18数据集已提交结果中,融合型UNet++的Dice系数排在第3名,HD排在第2名,AD排在第10名。结论 与经典超声胎儿头围测量方法及已有的机器学习方法应用研究相比,融合型UNet++能有效克服超声边界模糊、边缘缺失等干扰,精准分割出胎儿头部感兴趣区域,获取边缘关键点信息。与现有神经网络框架相比,融合型UNet++能充分利用上下文相关信息与局部定位功能,在妊娠中期的头围测量中,本文方法明显优于其他方法。     

融合隐向量对齐和Swin Transformer的OCTA血管分割

目的 光学相干断层扫描血管造影（optical coherence tomography angiography,OCTA）是一种非侵入式的新兴技术,越来越多地应用于视网膜血管成像。与传统眼底彩照相比,OCTA技术能够显示黄斑周围的微血管信息,在视网膜血管成像邻域具有显著优势。临床实践中,医生可以通过OCTA图像观察不同层的血管结构,并通过分析血管结构的变化来判断是否存在相关疾病。大量研究表明,血管结构的任何异常变化通常都意味着存在某种眼科疾病。因此,对OCTA图像中的视网膜血管结构进行自动分割提取,对众多眼部相关疾病量化分析和临床决策具有重大意义。然而,OCTA图像存在视网膜血管结构复杂、图像整体对比度低等问题,给自动分割带来极大挑战。为此,提出了一种新颖的融合隐向量对齐和Swin Transformer的视网膜血管结构的分割方法,能够实现血管结构的精准分割。方法 以ResU-Net为主干网络,通过Swin Transformer编码器获取丰富的血管特征信息。此外,设计了一种基于隐向量的特征对齐损失函数,能够在隐空间层次对网络进行优化,提升分割性能。结果 在3个OCTA图像数据集上的...     

基于Transformer的脊椎CT图像分割

目的 脊椎CT（computed tomography）图像存在组织结构显示不佳、对比度差以及噪音干扰等问题;传统分割算法分割精度低,分割过程需人工干预,往往只能实现半自动分割,不能满足实时分割需求。基于卷积神经网络（convolutional neural network,CNN）的U-Net模型成为医学图像分割标准,但仍存在长距离交互受限的问题。Transformer集成全局自注意力机制,可捕获长距离的特征依赖,在计算机视觉领域表现出巨大优势。本文提出一种CNN与Transformer混合分割模型TransAGUNet （Transformer attention gate U-Net）,以实现对脊椎CT图像的高效自动化分割。方法 提出的模型将Transformer、注意力门控机制（attention gate,AG）及U-Net相结合构成编码—解码结构。编码器使用Transformer和CNN混合架构,提取局部及全局特征;解码器使用CNN架构,在跳跃连接部分融入AG,将下采样特征图对应的注意力图（attention map）与下一层上采样后获得的特征图进行拼接,融合低层与高层特征从而实现更精细的分割。实验使用Dice Loss与带权重的交叉熵之和作为损失函数,以解决正负样本分布不均的问题。结果 将提出的算法在VerSe2020数据集上进行测试,Dice系数较主流的CNN分割模型U-Net、Attention U-Net、U-Net++和U-Net3+分别提升了4.47%、2.09%、2.44%和2.23%,相较优秀的Transformer与CNN混合分割模型TransUNet和TransNorm分别提升了2.25%和1.08%。结论 本文算法较以上6种分割模型在脊椎CT图像的分割性能最优,有效地提升了脊椎CT图像的分割精度,分割实时性较好。     

基于GAN–UNet的矿石图像分割方法

在选矿生产过程中,磨机给矿粒度对磨矿分级效率影响重大,是一个关键的控制参数.由于矿石表面不规则、棱线较多,同时存在矿石间堆叠的问题,给基于图像的矿石粒度检测带来极大困难.本文提出一种基于GAN–UNet的矿石图像分割方法,针对矿石图像棱线易引起矿石边缘错误识别的问题,采用生成对抗网络进行图像分割,将U–Net作为图像分...     

融合空间和通道特征的高精度乳腺癌分类方法

组织病理学图像是鉴别乳腺癌的黄金标准,所以对乳腺癌组织病理学图像的自动、精确的分类具有重要的临床应用价值。为了提高乳腺组织病理图像的分类准确率,从而满足临床应用的需求,提出了一种融合空间和通道特征的高精度乳腺癌分类方法。该方法使用颜色归一化来处理病理图像并使用数据增强扩充数据集,基于卷积神经网络（CNN）模型DenseNet和压缩和激励网络（SENet）融合病理图像的空间特征信息和通道特征信息,并根据压缩-激励（SE）模块的插入位置和数量,设计了三种不同的BCSCNet模型,分别为BCSCNetⅠ、BCSCNetⅡ、BCSCNetⅢ。在乳腺癌癌组织病理图像数据集（BreaKHis）上展开实验。通过实验对比,先是验证了对图像进行颜色归一化和数据增强能提高乳腺的分类准确率,然后发现所设计的三种乳腺癌分类模型中精度最高为BCSCNetⅢ。实验结果表明,BCSCNetⅢ的二分类准确率在99.05%~99.89%,比乳腺癌组织病理学图像分类网络（BHCNet）提升了0.42个百分点;其多分类的准确率在93.06%~95.72%,比BHCNet提升了2.41个百分点。证明了BCSCNet能准确地对乳腺癌组织病理图像进行分类,同时也为计算机辅助乳腺癌诊断提供了可靠的理论支撑。     

基于Transformer的U型医学图像分割网络综述

目前,医学图像分割模型广泛采用基于全卷积网络（FCN）的U型网络（U-Net）作为骨干网,但卷积神经网络（CNN）在捕捉长距离依赖能力上的劣势限制了分割模型性能的进一步提升。针对上述问题,研究者们将Transformer应用到医学图像分割模型中以弥补CNN的不足,结合Transformer和U型结构的分割网络成为研究热点之一。在详细介绍U-Net和Transformer之后,按医学图像分割模型中Transformer模块所处的位置,包括仅在编码器或解码器、同时在编码器和解码器、作为过渡连接和其他位置进行分类,讨论各模型的基本内容、设计理念以及可改进的地方,并分析了Transformer处于不同位置的优缺点。根据分析结果可知,决定Transformer所在位置的最大因素是目标分割任务的特点,而且Transformer结合U-Net的分割模型能更好地利用CNN和Transformer各自的优势,提高模型的分割性能,具有较大的发展前景和研究价值。     

基于Swin Transformer的沥青路面病害分类检测研究

针对传统卷积神经网络模型在沥青路面病害检测中识别长距离裂缝结构能力不足以及面临的精度局限问题,引入Swin Transformer模型进行沥青路面病害分类研究。首先对于路面检测车采集到的沥青路面扫描图像对比度低的问题,使用直方图均衡技术处理图像,增加图像可视化效果。其次,选取三种经典卷积神经网络模型作为对比模型,并在训练过程中采用更换损失函数,调整预训练模型等手段解决过拟合问题。并选用准确率、查全率、F1- score作为评价指标。在最终实验结果中Swin Transformer识别准确率达到了80.6%,F1-score达到了0.776,不仅在整体分类准确率上超越了传统CNN模型,并且对具有长距离特征结构的病害方面具有更高的识别准确率,同时具有良好的可靠性。     

细化Transformer网络的弱监督图像语义分割

图像级标签的弱监督图像语义分割方法是目前比较热门的研究方向,类激活图生成方式是最为常用的解决该类问题的主要工作方法。由于类激活图的稀疏性,导致判别区域的准确性降低。针对上述问题,提出了一种改进的Transformer网络弱监督图像学习方法。首先,引入空间注意力交换层来扩大类激活图的覆盖范围;其次,进一步设计了一个注意力自适应模块,来指导模型增强弱区域的类响应;特别地,在类生成过程中,构建了一个自适应跨域来提高模型分类性能。该方法在Pascal VOC 2012 验证集和测试集上分别达到了73.5%和73.0%。实验结果表明,细化Transformer网络学习方法有助于提高弱监督图像的语义分割性能。     

基于深度学习的乳腺癌病理图像分类研究综述

准确、高效的乳腺癌病理图像分类是计算机辅助诊断的重要研究内容之一。随着机器学习技术的发展,深度学习日渐成为一种有效的乳腺癌病理图像分类处理方法。分析了乳腺癌病理图像分类方法及目前存在的问题;介绍了四种相关的深度学习模型,对基于深度学习的乳腺癌病理图像分类方法进行梳理,并通过实验对比分析现有模型的性能;最后对乳腺癌病理图像分类的关键问题进行了总结,并讨论了未来研究的发展趋势。     

基于CNN与Transformer的医学图像分割

医学图像对疾病的诊断、治疗和评估均有所帮助,准确分割医学图像中的器官对于辅助医生的诊断具有重要的实际意义.由于医学图像中各器官部位与周围组织的图像对比度低,不同器官的边缘和形状也会存在很大差异,从而增加了分割的难度.针对这些问题,本文提出了一种基于卷积神经网络和Transformer的医学图像语义分割网络,有效提高了医学图像语义分割的精度.特征提取部分使用ResNet-50网络结构,在特征提取后使用Transformer模块来扩大感受野.在上采样过程中加入多个跳跃连接层,充分利用各阶段的特征提取信息,来恢复至与输入图像相近的分辨率.在胃肠道医学图像分割数据集上的实验结果证明本文的方法可以有效分割医学图像中的器官组织,提升分割准确率.     

多级特征交互Transformer的多器官图像分割

多器官医学图像分割有助于医生做出临床诊断. 针对CNN提取全局特征能力弱, Transformer提取局部特征能力弱, 以及Transformer具有二次方计算复杂度的问题, 提出了用于多器官医学图像分割的多级特征交互Transformer模型. 所提模型采用CNN提取局部特征, 局部特征经Swin Transformer输出全局特征; 通过下采样分别产生多级局部和全局特征, 每级局部和全局特征经过交互并增强; 每级增强后的特征经多级特征融合模块进行交叉融合; 再次融合后的特征经过上采样和分割头输出分割掩码. 所提模型在Synapse和ACDC数据集上进行实验, 平均DSC和平均HD95系数值为80.16%和19.20 mm, 均优于LGNet和RFE-UNet等代表性模型. 该模型对多器官医学图像分割是有效的.     

融合深度图像的卷积神经网络语义分割方法

该文提出了一种基于深度学习框架的图像语义分割方法,通过使用由相对深度点对标注训练的网络模型,实现了基于彩色图像的深度图像预测,并将其与原彩色图像共同输入到包含带孔卷积的全卷积神经网络中。考虑到彩色图像与深度图像作为物体不同的属性表征,在特征图上用合并连接操 作而非传统的相加操作对其进行融合,为后续卷积层提供特征图输入时保持了两种表征的差异。在两个数据集上的实验结果表明,该法可以有效提升语义分割的性能。     

融合残差注意力机制的UNet视盘分割

目的 青光眼和病理性近视等会对人的视力造成不可逆的损害,早期的眼科疾病诊断能够大大降低发病率。由于眼底图像的复杂性,视盘分割很容易受到血管和病变等区域的影响,导致传统方法不能精确地分割出视盘。针对这一问题,提出了一种基于深度学习的视盘分割方法RA-UNet（residual attention UNet）,提高了视盘分割精度,实现了自动、端到端的分割。方法 在原始UNet基础上进行了改进。使用融合注意力机制的ResNet34作为下采样层来增强图像特征提取能力,加载预训练权重,有助于解决训练样本少导致的过拟合问题。注意力机制可以引入全局上下文信息,增强有用特征并抑制无用特征响应。修改UNet的上采样层,降低模型参数量,帮助模型训练。对网络输出的分割图进行后处理,消除错误样本。同时,使用DiceLoss损失函数替代普通的交叉熵损失函数来优化网络参数。结果 在4个数据集上分别与其他方法进行比较,在RIM-ONE（retinal image database for optic nerve evaluation）-R1数据集中,F分数和重叠率分别为0.957 4和0.918 2,比UNet分别提高了2.89%和5.17%;在RIM-ONE-R3数据集中,F分数和重叠率分别为0.969和0.939 8,比UNet分别提高了1.5%和2.78%;在Drishti-GS1数据集中,F分数和重叠率分别为0.966 2和0.934 5,比UNet分别提高了1.65%和3.04%;在iChallenge-PM病理性近视挑战赛数据集中,F分数和重叠率分别为0.942 4和0.891 1,分别比UNet提高了3.59%和6.22%。同时还在RIM-ONE-R1和Drishti-GS1中进行了消融实验,验证了改进算法中各个模块均有助于提升视盘分割效果。结论 提出的RA-UNet,提升了视盘分割精度,对有病变区域的图像也有良好的视盘分割性能,同时具有良好的泛化性能。     

基于Swin Transformer和三维残差多层融合网络的高光谱图像分类

卷积神经网络(CNNs)具有出色的局部上下文建模能力,被广泛用于高光谱图像分类中,但由于其固有网络主干的局限性,CNNs未能很好地挖掘和表示光谱特征的序列属性。为了解决此问题,提出了一种基于Swin Transformer和三维残差多层融合网络的新型网络(ReSTrans)用于高光谱图像分类。在ReSTrans网络中,为了尽可能地挖掘高光谱图像的深层特征,采用三维残差多层融合网络来提取空谱特征,然后由基于自注意机制的Swin Transformer网络模块近一步捕获连续光谱间的关系,最后由多层感知机根据空谱联合特征完成最终的分类任务。为了验证ReSTrans网络模型的有效性,改进的模型在IP,UP和KSC 3个高光谱数据集上进行实验验证,分类精度分别达到了98.65%,99.64%,99.78%。与SST方法相比,该网络模型的分类性能分别平均提高了3.55%,0.68%,1.87%。实验结果表明该模型具有很好的泛化能力,可以提取更深层的、判别性的特征。     

图像分割述评：基本概貌、典型算法及比较分析

图像分割作为计算机视觉领域的一个重要分支,在可穿戴计算、自动驾驶、医学图像分析等方面都发挥着重要作用,并有着广泛应用。为了更好地了解图像分割领域的发展以及研究现状,该文对图像分割进行了深入梳理和系统述评。首先,对图像分割的含义以及其工作流程、指标等进行阐释;然后,对图像分割方法按照时间的跨度进行分类——基于阈值和区域、基于图论和聚类,以及基于深度学习的图像分割,对每类方法的代表性算法进行分析介绍,较为全面地总结了每类方法的基本思想和优缺点;最后,对该领域目前存在的问题和未来的发展方向进行展望,提出实时图像语义分割、弱监督或非监督语义分割和三维场景的语义分割是目前研究中的主要挑战。     

基于U-net和ResNet的图像缺陷检测

近年来,应用在图像分类问题上的深度学习的表现令人激动。但是传统的深度学习图像分类算法（比如AlexNet,GooLeNet,ResNet等）对数据过于依赖,一个表现好的图像分类算法,不但需要大量的数据集,而且需要训练很长时间。针对上述问题,论文结合图像分割网络U-net和图像分类网络ResNet来实现少量数据高准确率的图像缺陷检测。因为这个方法同时用到U-net图像分割网络和ResNet图像分类网络,所以称它为“UR”法。论文首先简要地介绍了深度学习的相关理论和论文使用的两个深度学习模型：U-net和ResNet。随后阐述了论文数据集的获取和处理,接下来详细地论述了论文用于图像分类的“UR”法的原理。最后根据实验结果得出结论,“UR”法在优化的速度和测试集准确率上都比普通的ResNet网络表现要好。