基于知识蒸馏与目标区域选取的细粒度图像分类方法

细粒度图像分类任务由于自身存在的细微的类间差别和巨大的类内差别使其极具挑战性,为了更好地学习细粒度图像的潜在特征,该算法将知识蒸馏引入到细粒度图像分类任务中,提出基于知识蒸馏与目标区域选取的细粒度图像分类方法（TRS-DeiT）,能使其兼具CNN模型和Transformer模型的各自优点。此外,TRS-DeiT的新型目标区域选取模块能够获取最具区分性的区域;为了区分任务中的易混淆类,引入对抗损失函数计算不同类别图像间的相似度。最终,在三个经典细粒度数据集CUB-200-2011、Stanford Cars和Stanford Dogs上进行训练测试,分别达到90.8%、95.0%、95.1%的准确率。实验结果表明,该算法相较于传统模型具有更高的准确性,通过可视化结果进一步证实该算法的注意力主要集中在识别对象,从而使其更擅长处理细粒度图像分类任务。     

CNN和Transformer在细粒度图像识别中的应用综述

细粒度图像识别旨在从类别图像中辨别子类别。由于图像间只有细微差异,这使得识别任务具有挑战性。随着深度学习技术的不断进步,基于深度学习的方法定位局部和表示特征的能力越来越强,其中以卷积神经网络（CNN）和Transformer为基础的各类算法大大提高了细粒度图像识别精度,细粒度图像领域得到了显著发展。为了整理两类方法在细粒度图像识别领域的发展历程,对该领域近年来只运用类别标签的方法进行了综述。介绍了细粒度图像识别的概念,详细阐述了主流细粒度图像数据集;介绍了基于CNN和Transformer的细粒度图像识别方法及其性能;最后,总结了细粒度图像识别未来的研究方向。     

基于伪全局Swin Transformer的遥感图像识别算法

如何在多目标并列的情况下，确定符合人类思维习惯的核心目标是遥感图像识别的关键之一.因此，在全局视野下，为各目标分配符合人类视觉习惯的注意力，是甄选核心目标的有效途径之一.文中结合Transformer提取全局特征的思想和Swin Transformer对图像栅格化处理可降低计算量的优点，提出基于伪全局Swin Transformer的遥感图像识别算法.构建伪全局Swin Transformer模块，将遥感图像栅格化后的各局部信息聚合为一个特征值，替代以像素为基础的全局信息，以较小计算量为代价，获取全局特征，有效提升模型对所有目标的感知能力.同时，通过以可变形卷积为基础的感受野自适应缩放模块，使感受野向核心目标偏移，提高网络对核心目标信息的关注，从而实现对遥感图像的精确识别.在RSSCN7、AID和OPTIMAL-31遥感图像数据集上的实验表明，文中算法取得较高的识别精度和参数识别效率.     

基于判别性特征增强的小样本细粒度图像识别

小样本细粒度图像识别是深度学习领域中一个热门的研究课题,其基本任务是在学习有限数量样本的情况下识别出某一大类下的子类别的图像。得益于卷积神经网络的快速发展,小样本细粒度图像识别在精度方面取得了显著的成果,但其性能仍受限于同一子类图像间的高方差以及不同分类任务中判别性特征的差异性。针对上述问题,提出了一种基于判别性特征增强的小样本细粒度图像识别算法(DFENet)。DFENet设计了对称注意力模块来增强类内视觉一致性学习,从而减少背景的影响,提高同类样本之间共享的特征表示的权重。此外,DFENet引入通道维度的判别性特征增强模块,利用支持集样本中同类样本内和不同类样本之间的通道关系进一步挖掘适合于当前任务的判别性特征,以提高识别准确率。在三个经典的细粒度数据集CUB-200-2011,Stanford Dogs, Stanford Cars上进行了广泛的实验。实验结果表明,该方法均取得了有竞争性的结果。     

基于中层细微特征提取与多尺度特征融合细粒度图像识别

在细粒度视觉识别领域,由于高度近似的类别之间差异细微,图像细微特征的精确提取对识别的准确率有着至关重要的影响。现有的相关热点研究算法中使用注意力机制提取类别特征已经成为一种趋势,然而这些算法忽略了不明显但可区分的细微部分特征,并且孤立了对象不同判别性区域之间的特征关系。针对这些问题,提出了基于中层细微特征提取与多尺度特征融合的图像细粒度识别算法。首先,利用通道与位置信息融合中层特征的权重方差度量提取图像显著特征,之后通过通道平均池化获得掩码矩阵抑制显著特征,并增强其他判别性区域细微特征的提取;然后,通过通道权重信息与像素互补信息获得通道与像素多尺度融合特征,以增强不同判别性区域特征的多样性与丰富性。实验结果表明,所提算法在数据集CUB-200-2011上达到89.52%的Top-1准确率、98.46%的Top-5准确率;在Stanford Cars数据集上达到94.64%的Top-1准确率、98.62%的Top-5准确率;在飞行器细粒度分类（FGVCAircraft）数据集上达到93.20%的Top-1准确率、97.98%的Top-5准确率。与循环协同注意力特征学习网络PCA-Net(...     

面向小样本学习的轻量化知识蒸馏

小样本学习旨在模拟人类基于少数样例快速学习新事物的能力, 对解决样本匮乏情境下的深度学习任务具有重要意义. 但是, 在诸多计算资源有限的现实任务中, 模型规模仍可能限制小样本学习的广泛应用. 这对面向小样本学习的轻量化任务提出了现实的需求. 知识蒸馏作为深度学习领域广泛使用的辅助策略, 通过额外的监督信息实现模型间知识迁移, 在提升模型精度和压缩模型规模方面都有实际应用. 首先验证知识蒸馏策略在小样本学习模型轻量化中的有效性. 并结合小样本学习任务的特点, 针对性地设计两种新的小样本蒸馏方法: (1)基于图像局部特征的蒸馏方法; (2)基于辅助分类器的蒸馏方法. 在miniImageNet和TieredImageNet数据集上的相关实验证明所设计的新的蒸馏方法相较于传统知识蒸馏在小样本学习任务上具有显著优越性.     

基于相似一致性的模型自蒸馏方法

针对传统自蒸馏方法存在数据预处理成本高、局部特征检测缺失，以及模型分类精度低的情况，提出了基于相似一致性的模型自蒸馏方法(Similarity and Consistency by Self-Distillation, SCD),提高模型分类精度。首先，对样本图像的不同层进行学习得到特征图，通过特征权值分布获取注意力图。然后，计算Mini-batch内样本间注意力图的相似性获得相似一致性知识矩阵，构建基于相似一致性的知识，使得无须对实例数据进行失真处理或提取同一类别的数据来获取额外的实例间知识，避免了大量的数据预处理工作带来的训练成本高和训练复杂的问题。最后，将相似一致性知识矩阵在模型中间层之间单向传递，让浅层次的相似矩阵模仿深层次的相似矩阵，细化低层次的相似性，捕获更加丰富的上下文场景和局部特征，解决局部特征检测缺失问题，实现单阶段单向知识转移的自蒸馏。实验结果表明，采用基于相似一致性的模型自蒸馏方法：在公开数据集CIFAR100和TinyImageNet上，验证了SCD提取的相似一致性知识在模型自蒸馏中的有效性，相较于自注意力蒸馏方法(Self Attention Distilla...     

一种结合非局部和多区域注意力机制的细粒度图像识别方法

细粒度图像识别的目标是对细粒度级别的物体子类进行分类,由于不同子类间的差异非常细微,使得细粒度图像识别具有非常大的挑战性.目前细粒度图像识别算法的难度在于如何定位细粒度目标中具有分辨性的部位以及如何更好地提取细粒度级别的细微特征.为此,提出了一种结合非局部和多区域注意力机制的细粒度识别方法.Navigator只利用图像...     

基于多教师知识蒸馏网络的钢铁表面缺陷诊断

随着人工智能技术的发展，基于深度学习的产品表面缺陷检测逐渐成为工业品质检验的重要手段。然而，传统的单一模型在复杂数据分布下的效果不尽如人意，因此采用集成学习的方法提高模型的诊断精度。文章提出了一种基于多教师知识蒸馏网络的工业产品表面缺陷诊断方法。该方法将3个结构差异较大的模型（ResNet50、Inception-v4和EfficientNet）作为教师网络，再将知识蒸馏到一个轻量化的学生网络（MobileNetv3）中，从而诊断钢铁表面缺陷。通过实验验证可知，多教师知识蒸馏网络比单一模型具有更高的准确率和鲁棒性。实验结果表明，该方法不仅可以提高钢铁表面缺陷诊断的精度，而且可以有效应用于其他复杂数据分类问题。     

基于尺度注意知识迁移的自蒸馏目标分割方法

当前的目标分割模型难以兼顾分割性能与推断效率,为此提出一种基于尺度注意知识迁移的自蒸馏目标分割方法。首先,构建了一个仅利用主干特征的目标分割网络作为推断网络,实现高效的前向推断过程。其次,提出了一种基于尺度注意知识的自蒸馏学习模型：一方面,设计了具有尺度注意机制的金字塔特征模块,利用尺度注意机制自适应地捕获不同语义水平的上下文信息,提取更具区分性的自蒸馏知识;另一方面,融合交叉熵、KL(Kullback-Leibler)散度和L2距离构造蒸馏损失,高效驱动蒸馏知识向分割网络迁移,提升泛化性能。该方法在COD(Camouflaged Object Detection)、DUT-O(Dalian University of Technology-OMRON)、SOC(Salient Objects in Clutter)等五个目标分割数据集上进行了验证：将所提推断网络作为基准网络,所提自蒸馏模型分割性能在F_β指标上平均提升3.01%,比免教师(TF)自蒸馏模型增加了1.00%;所提网络与近期的残差分割网络(R2Net)相比,参数量减少了2.33×106,推断帧率提升了...     

网络监督数据下的细粒度图像识别综述

细粒度图像识别旨在对某一传统语义类别下细粒度级别的不同子类类别进行视觉识别,在智慧新经济和工业物联网等领域（如智慧城市、公共安全、生态保护、农业生产与安全保障）具有重要的科学意义和应用价值。细粒度图像识别在深度学习的助力下取得了长足进步,但其对大规模优质细粒度图像数据的依赖成为制约细粒度图像识别推广和普及的瓶颈。随着互联网和大数据的快速发展,网络监督图像数据作为免费的数据来源成为缓解深度学习对大数据依赖的可行解决方案,如何有效利用网络监督数据成为提升细粒度图像识别推广性和泛化性的热门课题。本文围绕细粒度图像识别主题,以网络监督数据下的细粒度识别为重点,先后对细粒度识别数据集、传统细粒度识别方法、网络监督下细粒度识别特点与方法进行介绍,并回顾了全球首届网络监督下的细粒度图像识别竞赛的相关情况及冠军解决方案。最后,在上述内容基础上总结和讨论了该领域的未来发展趋势。     

基于拓扑一致性对抗互学习的知识蒸馏

针对基于互学习的知识蒸馏方法中存在模型只关注教师网络和学生网络的分布差异, 而没有考虑其他的约束条件, 只关注了结果导向的监督, 而缺少过程导向监督的不足, 提出了一种拓扑一致性指导的对抗互学习知识蒸馏方法(Topology-guided adversarial deep mutual learning, TADML). 该方法将教师网络和学生网络同时训练, 网络之间相互指导学习, 不仅采用网络输出的类分布之间的差异, 还设计了网络中间特征的拓扑性差异度量. 训练过程采用对抗训练, 进一步提高教师网络和学生网络的判别性. 在分类数据集CIFAR10、CIFAR100和Tiny-ImageNet及行人重识别数据集Market1501上的实验结果表明了TADML的有效性, TADML取得了同类模型压缩方法中最好的效果.     

知识蒸馏研究综述

高性能的深度学习网络通常是计算型和参数密集型的,难以应用于资源受限的边缘设备.为了能够在低资源设备上运行深度学习模型,需要研发高效的小规模网络.知识蒸馏是获取高效小规模网络的一种新兴方法,其主要思想是将学习能力强的复杂教师模型中的"知识"迁移到简单的学生模型中.同时,它通过神经网络的互学习、自学习等优化策略和无标签、跨...     

细粒度语义知识图谱增强的中文OOV词嵌入学习

随着信息化领域的范围不断扩大，许多特定领域的文本语料开始涌现。这些特定领域，如医疗、通信等，由于受到安全性和敏感性的影响，其数据规模通常较小，传统的词嵌入学习模型难以获得有效的结果。另一方面，直接应用现有的预训练语言模型时会出现较多未登录词，这些词汇无法表示成向量，从而影响下游任务的性能表现。许多学者开始研究如何利用细粒度语义信息来得到较高质量的未登录词向量表示。然而，当前的未登录词嵌入学习模型大多针对英文语料，对中文词的细粒度语义信息只能进行简单的拼接或映射，难以在中文未登录词嵌入学习任务中得到有效的向量表示。针对上述问题，首先通过中文构字规则，即中文词所包含的汉字、汉字所包含的部件和拼音等，构建细粒度的知识图谱，使其不仅能涵盖汉字和单词之间的关联关系，还能对拼音和汉字、组件和汉字等细粒度语义信息之间的多元且复杂的关联关系进行表征。然后，在知识图谱上运行图卷积算法，从而对中文词的细粒度语义信息之间以及它们与词语义之间更深层次的关系进行建模。此外，文中通过在子图结构上构建图读出来进一步挖掘细粒度语义信息与词语义信息之间的组成关系，据此提升模型在未登录词嵌入推断中的精准度。实验结果表明，...     

基于自编码和知识蒸馏的表面缺陷检测方法

针对传统的表面缺陷检测方法只能对具有高对比度或低噪声的明显缺陷轮廓进行检测的问题,提出了一种基于自编码和知识蒸馏的表面缺陷检测方法来准确定位和分类从实际工业环境捕获的输入图像中出现的缺陷。首先,设计了一种级联自动编码器（CAE）架构用于分割和定位缺陷,其目的是将输入的原始图像转换为基于CAE的预测蒙版;其次,利用阈值模块对预测结果进行二值化以获得准确的缺陷轮廓;然后,把缺陷区域检测器提取并裁剪出来的缺陷区域视为下一个模块的输入;最后,将CAE分割结果的缺陷区域通过知识蒸馏进行类别分类。实验结果表明,与其他几种表面缺陷检测方法相比,所提出的方法综合性能最好,其缺陷检测平均准确率为97.00%。该方法能够有效地对较小的、边缘不清晰的缺陷进行分割,满足对物品表面缺陷实时分割检测的工程要求。     

基于自蒸馏与自集成的问答模型

知识蒸馏结合预训练语言模型是构建问答模型的主要方法之一,然而,这类方法存在知识转移效率低下、训练教师模型耗时严重、教师模型和学生模型能力不匹配等问题。针对上述问题,提出了一种基于自蒸馏与自集成的问答模型SD-SE-BERT。其中：自集成基于滑窗机制设计;学生模型采用BERT;教师模型由训练过程中得到的若干学生模型基于其验证集性能进行加权平均组合得到;损失函数利用集成后的输出结果和真实标签指导当前轮次的学生模型进行训练。在SQuAD1.1数据集上的实验结果表明,SD-SE-BERT的EM指标和F₁指标相比较BERT模型分别提高7.5和4.9,并且模型性能优于其他代表性的单模型和蒸馏模型;相较于大型语言模型ChatGLM-6B的微调结果,EM指标提高4.5,F₁指标提高2.5。证明SD-SE-BERT可以利用模型自身的监督信息来提高模型组合不同文本数据特征的能力,无须训练复杂的教师模型,避免了教师模型与学生模型不匹配的问题。     

选择并融合粗细粒度特征的细粒度图像识别

目的 在细粒度图像识别任务中,类内图像姿势方差大,需要找到类内变化小的共性,决定该任务依赖于鉴别性局部的细粒度特征;类间图像局部差异小,需要找到类间更全面的不同,决定该任务还需要多样性局部的粗粒度特征。现有方法主要关注粗细粒度下的局部定位,没有考虑如何选择粗细粒度的特征及如何融合不同粒度的特征。为此,提出一种选择并融合粗细粒度特征的细粒度图像识别方法。方法 设计一个细粒度特征选择模块,通过空间选择和通道选择来突出局部的细粒度鉴别性特征;构建一个粗粒度特征选择模块,基于细粒度模块选择后的局部,挖掘各局部间的语义和位置关系,从而获得为细粒度局部提供补充信息的粗粒度多样性特征;融合这两个模块中提取到的细粒度特征和粗粒度特征,形成互补的粗细粒度表示,以提高细粒度图像识别方法的准确性。结果 在CUB-200-2011（caltech-UCSD birds-200-2011）、Stanford Cars和FGVC-Aircraft（fine-grained visual classification aircraft） 3个公开的标准数据集上进行广泛实验,结果表明,所提方法的识别准确率分别达到90.3%、95.6%和94.8%,明显优于目前主流的细粒度图像识别方法,相较于对比方法中的最好结果,准确率相对提升0.7%、0.5%和1.4%。结论 提出的方法能够提取粗粒度和细粒度两种类型的视觉特征,同时保证特征的鉴别性和多样性,使细粒度图像识别的结果更加精准。     

基于多尺度知识学习的深度鲁棒水印算法

针对现有基于深度学习框架的水印算法无法有效保护高维医学图像版权问题,提出一种基于多尺度知识学习的医学图像水印算法用于弥散加权图像的版权保护。首先,提出一个基于多尺度知识学习的水印嵌入网络来嵌入水印,并通过微调的预训练网络提取弥散加权图像的语义、纹理、边缘以及频域信息作为多尺度的知识特征;然后,结合多尺度的知识特征来重构弥散加权图像,并在该过程中冗余地嵌入水印,从而获得视觉上与原始图像高度相似的含水印的弥散加权图像;最后,提出一个基于金字塔特征学习的水印提取网络,并通过在含有水印的弥散加权图像的不同尺度的上下文中学习水印信号的分布相关性来提高算法的鲁棒性。实验结果表明,所提算法重构出的含水印图的平均峰值信噪比（PSNR）达到57.82 dB。由于弥散加权图像在转换为弥散张量图像时需满足一定的弥散性特征,所提算法仅8个像素点的主轴方向偏转角大于5°,且这8个像素点均不在图像的感兴趣区域。此外,该算法所得图像的各项异性（FA）以及平均弥散率（MD）都接近为0,完全满足临床诊断的要求;且面对裁剪强度小于0.7,旋转角度小于15°等常见的噪声攻击,该算法的水印正确率达到95%以上,能有效保护弥散...     

基于学习率自增强的图像识别深度学习算法

在深度学习模型中,为了进一步提高网络的收敛速度和识别精度,提出一种学习率自增强的图像识别算法.当距离极值点比较远时,以大于1的常数进行学习率自增强,加快网络向极值点附近逼近的速度.随着模型接近收敛,根据代价函数的变化情况调整学习率,学习率的变化和代价函数的变化情况成反比.在MNIST数据集和CIFAR-10数据集上进行实验.实验结果表明,结合该算法的深度学习模型在进行图像识别时,能有效地提高识别的准确率和收敛速度,并具有较好的表现能力.     

一种鲁棒的双教师自监督蒸馏哈希学习方法

为了提高无监督哈希学习的性能,实现鲁棒的哈希图像检索,提出了一种鲁棒的双教师自监督蒸馏哈希学习方法。该方法包括自监督双教师学习和鲁棒哈希学习两个阶段：第一阶段设计了一种改进的聚类算法,有效提高了硬伪标签的标注精度,而后通过微调教师网络得到了图像的初始软伪标签;第二阶段提出了一种结合混合去噪和双教师共识去噪策略的软伪标签去噪方法,有效去除了初始软伪标签中的噪声,而后利用蒸馏学习将双教师网络中的信息通过去噪软伪标签传递给学生网络,进而获得无标签图像的鲁棒哈希码。在CIFAR-10,FLICKR25K和EuroSAT上进行了实验,实验结果表明,与TBH方法相比,在CIFAR-10上所提方法的MAP平均提高了18.6%;与DistillHash方法相比,在FLICKR25K上所提方法的MAP平均提高了2.4%;与ETE-GAN方法相比,在EuroSAT上所提方法的MAP平均提高了18.5%。