基于鉴别注意力融合的仪表细粒度分类方法

基于视觉的仪表自动巡检读数是一项重要的研究内容;仪表的读数通常通过检测指针的位置来确定;不同规格型号的仪表,指针指向相同位置所代表的具体读数不同,因此,预先识别仪表的详细类别是进行自动读数的重要前提。为提升仪表自动读数的便捷性和准确率,提出了一种基于鉴别注意力融合的仪表细粒度分类方法。首先利用YOLOv5对仪表表盘进行粗提取,随后使用提出的模型对表盘进行细粒度识别;无需标注显著特征,在特征提取器上添加鉴别注意力模块,补充浅层空间和位置信息对仪表细粒度分类的引导作用;生成的鉴别粒度注意力图和骨干网络最后一层输出的特征图进行双线性融合,生成特征矩阵;引入正交损失,对生成的特征矩阵进行约束处理;构建仪表细粒度分类数据集。理论分析和实验结果表明,所提仪表细粒度分类方法提高了网络对表盘鉴别粒度区域的识别能力,有效改善了仪表细粒度分类的性能,为后续仪表智能准确的读数提供了保证。     

基于中层细微特征提取与多尺度特征融合细粒度图像识别

在细粒度视觉识别领域,由于高度近似的类别之间差异细微,图像细微特征的精确提取对识别的准确率有着至关重要的影响。现有的相关热点研究算法中使用注意力机制提取类别特征已经成为一种趋势,然而这些算法忽略了不明显但可区分的细微部分特征,并且孤立了对象不同判别性区域之间的特征关系。针对这些问题,提出了基于中层细微特征提取与多尺度特征融合的图像细粒度识别算法。首先,利用通道与位置信息融合中层特征的权重方差度量提取图像显著特征,之后通过通道平均池化获得掩码矩阵抑制显著特征,并增强其他判别性区域细微特征的提取;然后,通过通道权重信息与像素互补信息获得通道与像素多尺度融合特征,以增强不同判别性区域特征的多样性与丰富性。实验结果表明,所提算法在数据集CUB-200-2011上达到89.52%的Top-1准确率、98.46%的Top-5准确率;在Stanford Cars数据集上达到94.64%的Top-1准确率、98.62%的Top-5准确率;在飞行器细粒度分类（FGVCAircraft）数据集上达到93.20%的Top-1准确率、97.98%的Top-5准确率。与循环协同注意力特征学习网络PCA-Net(...     

基于注意力机制学习的变电设备缺陷检测方法

针对现有的变电站缺陷图像检测识别算法鲁棒性弱问题,提出一种基于注意力机制学习的变电设备缺陷图像检测识别方法。所提方法以卷积神经网络作为缺陷图像特征提取的骨架网络,融合注意力机制原理,进一步提升缺陷图像特征的可辨识性。首先,构建注意力机制的卷积神经网络特征提取模型,提取不同注意力机制下变电站缺陷图像特征;其次,设计一种自适应特征学习函数,将不同注意力机制下的特征融合成为新的高质量变电缺陷图像特征;最后,将不同注意力机制下的缺陷图像特征输入到分类模型,实现变电站缺陷图像检测。所提方法增强了变电设备缺陷图像检测的准确性与鲁棒性,实验结果显示,所提方法的mAP达到了70.4%。     

应用多重形态谱的船只红外尾迹图像细粒度识别研究

通过流体力学技术对海浪波进行分析,实现船只的速度聚束调制;应用多重形态谱检测船只红外尾迹图像;以船只红外尾迹图像为样本,通过卷积神经网络收集红外尾迹图像深度特征;根据特征坐标生成图像关键目标区域,利用添加注意力模块,获得关键目标对象的特征图谱;采用网络训练优化图像的分类层与卷积层,确保所有层的分辨能力;增强图像细粒度信息实现船只轨迹精准识别,完成船只红外尾迹图像细粒度识别.实验证明,所提方法识别用时较短,特征表述详细,获得的识别精准度更高.     

基于动态卷积与注意力的多特征融合行人重识别

为能够准确利用图像中有效特征，提取判别性较高的信息区分特征相近的行人，提出一种基于动态卷积和注意力机制的多分支网络。将动态卷积核作用于ResNet50网络中，使动态卷积中的注意力机制与网络中的通道和空间注意力共同作用，通过不同分支得到相应局部特征，融合得到高判别性特征进行分类匹配。在CUHK03、DuckMTMC-reID、Market-1501数据集上进行验证实验，其结果表明了所提模型的优越性。     

基于语义信息跨层特征融合的细粒度鸟类识别

有效识别各种鸟类目标具有重要的生态环境保护意义。针对不同种类鸟类之间差别细微、识别难度大等问题,提出一种基于语义信息跨层特征融合的细粒度鸟类识别模型。该模型由区域定位网络、特征提取网络和一种跨层特征融合网络(Cross-layer Feature Fusion Network,CFF-Net)组成。区域定位网络在没有局部语义标注的情况下,自动定位出局部有效信息区域;特征提取网络提取局部区域图像特征和全局图像特征;CFF-Net对多个局部和全局特征进行融合,提高最终分类性能。结果表明,该方法在Caltech-UCSD Birds200-2011(CUB200-2011)鸟类公共数据集上,取得了87.8%的分类准确率,高于目前主流的细粒度鸟类识别算法,表现出优异的分类性能。     

基于约束稀疏表达的细粒度图像分类识别方法

为了保证细粒度图像分类识别后图像结构信息的完整性,设计一种基于约束稀疏表达的细粒度图像分类识别方法.在区域建议网络内输入待分类图像,利用在线硬示例挖掘方法筛选对分类识别结果影响较大的图像;在降采样图像基础上,引入分布结构约束项,建立约束稀疏表达线性编码模型;创建相似度权衡函数,将图像分类识别等效为排序问题,使用交替方向乘子法求解并获得最佳测度矩阵,完成细粒度图像分类识别目标.仿真结果证明,在遮挡、光照差异等状况下所研究方法分类后的图像结构信息较完整,分类识别后的平均峰值信噪比为28.9,平均分类时间为5.71s,提高了细粒度图像的分类质量.     

基于空间关系与频率特征的视觉问答模型

视觉问答作为多模态数据处理中的重要任务,需要将不同模态的信息进行关联表示。现有视觉问答模型无法有效区分相似目标对象且对于目标对象之间的空间关系表达不准确,从而影响模型整体性能。为充分利用视觉问答图像和问题中的细粒度信息与空间关系信息,基于自底向上和自顶向下的注意力（BUTD）模型及模块化协同注意力网络（MCAN）模型,结合空间域特征和频率域特征构造多维增强注意力（BUDR）模型和模块化共同增强注意力网络（MCDR）模型。利用离散余弦变换得到频率信息,改善图像细节丢失问题。采用关系网络学习空间结构信息和潜在关系信息,减少图像和问题特征出现对齐错误,并加强模型推理能力。在VQA v2.0数据集和test-dev验证集上的实验结果表明,BUDR和MCDR模型能够增强图像细粒度识别性能,提高图像和问题目标对象间的关联性,相比于BUTD和MCAN模型预测精确率分别提升了0.14和0.25个百分点。     

融合多粒度特征的细粒度图像分类网络

在细粒度图像分类任务中，巨大的类内方差决定了该任务的分类依赖于粗粒度和细粒度信息.最近的工作主要关注于如何定位不同粒度的辨别性局部来解决这个问题.然而，在如何选择具有辨别性的粒度以及融合多粒度特征方面，现有的工作还缺乏一定研究.因此，本文提出了一个融合多粒度特征的细粒度图像分类网络，首先通过一个局部错位模块选择细粒度图像中的不同粒度，然后引入注意力机制定位它们并提取其多粒度特征，并且通过迭代学习的方式提取多粒度间的互补信息，最后采用可变形卷积融合这些多粒度特征，从而实现细粒度图像分类.本文所提出的方法在CUB-200-2011、FGVC-Aircraft和Stanford Cars三个数据集上准确率分别达到88.6%、93.6%和94.8%,这表明本文的方法能够获得优秀的分类性能.     

基于ECA-Net与多尺度结合的细粒度图像分类方法

针对细粒度图像分类问题提出了一种有效的算法以实现端到端的细粒度图像分类.ECA-Net中ECA(efficient channel attention)模块是一种性能优势显著的通道注意力机制,将其与经典网络ResNet-50进行融合构成新的基础卷积神经网络ResEca;通过物体级图像定位模块与部件级图像生成模块生成物体级图像和部件级图像,并结合原始图像作为网络的输入,构建以ResEca为基础的三支路网络模型Tb-ResEca-Net(three branch of ResEca network).该算法在公有数据集CUB-200-2011、FGVC-aircraft和Stanford cars datasets上进行测试训练,分别取得了89.9％、95.1％和95.3％的准确率.实验结果表明,该算法相较于其他传统的细粒度分类算法具有较高的分类准确率以及较强的鲁棒性,是一种有效的细粒度图像分类方法.     

一种结合非局部和多区域注意力机制的细粒度图像识别方法

细粒度图像识别的目标是对细粒度级别的物体子类进行分类,由于不同子类间的差异非常细微,使得细粒度图像识别具有非常大的挑战性.目前细粒度图像识别算法的难度在于如何定位细粒度目标中具有分辨性的部位以及如何更好地提取细粒度级别的细微特征.为此,提出了一种结合非局部和多区域注意力机制的细粒度识别方法.Navigator只利用图像...     

聚焦—识别网络架构的细粒度图像分类

目的 细粒度图像分类是指对一个大类别进行更细致的子类划分,如区分鸟的种类、车的品牌款式、狗的品种等。针对细粒度图像分类中的无关信息太多和背景干扰问题,本文利用深度卷积网络构建了细粒度图像聚焦—识别的联合学习框架,通过去除背景、突出待识别目标、自动定位有区分度的区域,从而提高细粒度图像分类识别率。方法 首先基于Yolov2（youonly look once v2）的网络快速检测出目标物体,消除背景干扰和无关信息对分类结果的影响,实现聚焦判别性区域,之后将检测到的物体（即Yolov2的输出）输入双线性卷积神经网络进行训练和分类。此网络框架可以实现端到端的训练,且只依赖于类别标注信息,而无需借助其他的人工标注信息。结果 在细粒度图像库CUB-200-2011、Cars196和Aircrafts100上进行实验验证,本文模型的分类精度分别达到84.5%、92%和88.4%,与同类型分类算法得到的最高分类精度相比,准确度分别提升了0.4%、0.7%和3.9%,比使用两个相同D（dence）-Net网络的方法分别高出0.5%、1.4%和4.5%。结论 使用聚焦—识别深度学习框架提取有区分度的区域对细粒度图像分类有积极作用,能够滤除大部分对细粒度图像分类没有贡献的区域,使得网络能够学习到更多有利于细粒度图像分类的特征,从而降低背景干扰对分类结果的影响,提高模型的识别率。     

结合双语义数据增强与目标定位的细粒度图像分类

细粒度图像分类旨在对属于同一基础类别的图像进行更细致的子类划分,其较大的类内差异和较小的类间差异使得提取局部关键特征成为关键所在。提出一种结合双语义数据增强与目标定位的细粒度图像分类算法。为充分提取具有区分度的局部关键特征,在训练阶段基于双线性注意力池化和卷积块注意模块构建注意力学习模块和信息增益模块,分别获取目标局部细节信息和目标重要轮廓这2类不同语义层次的数据,以双语义数据增强的方式提高模型准确率。同时,在测试阶段构建目标定位模块,使模型聚焦于分类目标整体,从而进一步提高分类准确率。实验结果表明,该算法在CUB-200-2011、FGVC Aircraft和Stanford Cars数据集中分别达到89.5%、93.6%和94.7%的分类准确率,较基准网络Inception-V3、双线性注意力池化特征聚合方式以及B-CNN、RA-CNN、MA-CNN等算法具有更好的分类性能。     

A collaborative gated attention network for fine-grained visual classification

Fine-grained image classification aims at subdividing large coarse-grained categories into finer-grained subcategories. Most existing fine-grained research methods use a single attention mechanism or multiple sub-networks to zoom in and find distinguishable local feature regions. These models seldom explore the intrinsic connections between cross-layer features with similar semantic features. This tends to show erratic performance in images with complex backgrounds. To this end, we propose a feature-semantic fusion module to enhance the diversity of global feature information. Second, we employ cross-layer spatial attention and channel attention modules, which can accurately locate local key regions of images. Finally, we propose a cross-gate attention module that can find rich discriminative features from key object regions of images to guide the final classification. Experiments show that the proposed model performs well on three datasets: CUB-200-2011, Stanford cars, and FGVC aircraft.     

YOLOv3和双线性特征融合的细粒度图像分类

目的 细粒度图像分类是计算机视觉领域具有挑战性的课题,目的是将一个大的类别分为更详细的子类别,在工业和学术方面都有着十分广泛的研究需求。为了改善细粒度图像分类过程中不相关背景干扰和类别差异特征难以提取的问题,提出了一种将目标检测方法YOLOv3（you only look once）和双线性融合网络相结合的细粒度分类优化算法,以此提高细粒度图像分类的性能。方法 利用重新训练过的目标检测算法YOLOv3粗略确定目标在图像中的位置;使用背景抑制方法消除目标以外的信息干扰;利用融合不同通道、不同层级卷积层特征的方法对经典的细粒度分类算法双线性卷积神经网络（bilinear convolutional neural network,B-CNN）进行改进,优化分类性能,通过融合双线性网络中不同卷积层的特征向量,得到更加丰富的互补信息,从而提高细粒度分类精度。结果 实验结果表明,在CUB-200-2011（Caltech-UCSD Birds-200-2011）、Cars196和Aircrafts100数据集中,本文算法的分类准确率分别为86.3%、92.8%和89.0%,比经典的B-CNN细粒度分类算法分别提高了2.2%、1.5%和4.9%,验证了本文算法的有效性。同时,与已有细粒度图像分类算法相比也表现出一定的优势。结论 改进算法使用YOLOv3有效滤除了大量无关背景,通过特征融合方法来改进双线性卷积神经分类网络,丰富特征信息,使分类的结果更加精准。     

自上而下注意图分割的细粒度图像分类

目的 针对细粒度图像分类中的背景干扰问题,提出一种利用自上而下注意图分割的分类模型。方法 首先,利用卷积神经网络对细粒度图像库进行初分类,得到基本网络模型。再对网络模型进行可视化分析,发现仅有部分图像区域对目标类别有贡献,利用学习好的基本网络计算图像像素对相关类别的空间支持度,生成自上而下注意图,检测图像中的关键区域。再用注意图初始化GraphCut算法,分割出关键的目标区域,从而提高图像的判别性。最后,对分割图像提取CNN特征实现细粒度分类。结果 该模型仅使用图像的类别标注信息,在公开的细粒度图像库Cars196和Aircrafts100上进行实验验证,最后得到的平均分类正确率分别为86.74%和84.70%。这一结果表明,在GoogLeNet模型基础上引入注意信息能够进一步提高细粒度图像分类的正确率。结论 基于自上而下注意图的语义分割策略,提高了细粒度图像的分类性能。由于不需要目标窗口和部位的标注信息,所以该模型具有通用性和鲁棒性,适用于显著性目标检测、前景分割和细粒度图像分类应用。     

面向多模态交互式融合与渐进式优化的三维视觉理解

三维视觉理解旨在智能地感知和解释三维场景,实现对物体、环境和动态变化的深入理解与分析。三维目标检测作为其核心技术,发挥着不可或缺的作用。针对当前的三维检测算法对于远距离目标和小目标检测精度较低的问题,提出了一种面向多模态交互式融合与渐进式优化的三维目标检测方法MIFPR。在特征提取阶段,首先引入自适应门控信息融合模块。通过把点云的几何特征融入图像特征中,能够获取对光照变化更有辨别力的图像表示。随后提出基于体素质心的可变形跨模态注意力模块,以驱使图像中丰富的语义特征和上下文信息融合到点云特征中。在目标框优化阶段,提出渐进式注意力模块,通过学习、聚合不同阶段的特征,不断增强模型对于精细化特征的提取与建模能力,逐步优化目标框,以提升对于远距离、小目标的检测精度,进而提高对于视觉场景理解的能力。在KITTI数据集上,所提方法对于Pedestrian和Cyclist等小目标的检测精度较最优基线有明显提升,证实了该方法的有效性。     

细粒度图像分类的互补注意力方法

目的 由于分类对象具有细微类间差异和较大类内变化的特点,细粒度分类一直是一个具有挑战性的任务。绝大多数方法利用注意力机制学习目标中显著的局部特征。然而,传统的注意力机制往往只关注了目标最显著的局部特征,同时抑制其他区域的次级显著信息,但是这些抑制的信息中通常也含有目标的有效特征。为了充分提取目标中的有效显著特征,本文提出了一种简单而有效的互补注意力机制。方法 基于SE（squeeze-and-excitation）注意力机制,提出了一种新的注意力机制,称为互补注意力机制（complemented SE,CSE）。既从原始特征中提取主要的显著局部特征,也从抑制的剩余通道信息中提取次级显著特征,这些特征之间具有互补性,通过融合这些特征可以得到更加高效的特征表示。结果 在CUB-Birds（Caltech-UCSD Birds-200-2011）、Stanford Dogs、Stanford Cars和FGVC-Aircraft（fine-grained visual classification of aircraft）4个细粒度数据集上对所提方法进行验证,以ResNet50为主干网络,在测试集上的分类精度分别达到了87.9%、89.1%、93.9%和92.4%。实验结果表明,所提方法在CUB-Birds和Stanford Dogs两个数据集上超越了当前表现最好的方法,在Stanford Cars和FGVC-Aircraft数据集的表现也接近当前主流方法。结论 本文方法着重提升注意力机制提取特征的能力,得到高效的目标特征表示,可用于细粒度图像分类和特征提取相关的计算机视觉任务。     

基于自适应特征融合的小样本细粒度图像分类

现有的小样本学习算法未能充分提取细粒度图像的特征,导致细粒度图像分类准确率较低。为了更好地对基于度量的小样本细粒度图像分类算法中提取的特征进行建模,提出了一种基于自适应特征融合的小样本细粒度图像分类算法。在特征提取网络上设计了一种自适应特征融合嵌入网络,可以同时提取深层的强语义特征和浅层的位置结构特征,并使用自适应算法和注意力机制提取关键特征。在训练特征提取网络上采用单图训练和多图训练方法先后训练,在提取样本特征的同时关注样本之间的联系。为了使得同一类的特征向量在特征空间中的距离更加接近,不同类的特征向量的距离更大,对所提取的特征向量做特征分布转换、正交三角分解和归一化处理。提出的算法与其他9种算法进行实验对比,在多个细粒度数据集上评估了5 way 1 shot的准确率和5 way 5 shot的准确率。在Stanford Dogs数据集上的准确率提升了5.27和2.90个百分点,在Stanford Cars数据集上的准确率提升了3.29和4.23个百分点,在CUB-200数据集上的5 way 1 shot的准确率只比DLG略低0.82个百分点,但是5 way 5 shot上提升了1.55个百分点。     

基于对称注意力机制的视觉问答系统

近年来,基于图像视觉特征与问题文本特征融合的视觉问答(VQA)引起了研究者们的广泛关注.现有的大部分模型都是通过聚集图像区域和疑问词对的相似性,采用注意力机制和密集迭代操作进行细粒度交互和匹配,忽略了图像区域和问题词的自相关信息.本文提出了一种基于对称注意力机制的模型架构,能够有效利用图片和问题之间具有的语义关联,进而...