基于注意力机制的弱监督细粒度图像分类

针对细粒度图像分类任务中难以对图中具有鉴别性对象进行有效学习的问题,本文提出了一种基于注意力机制的弱监督细粒度图像分类算法.该算法能有效定位和识别细粒度图像中语义敏感特征.首先在经典卷积神经网络的基础上通过线性融合特征得到对象整体信息的表达,然后通过视觉注意力机制进一步提取特征中具有鉴别性的细节部分,获得更完善的细粒度特征表达.所提算法实现了线性融合和注意力机制的结合,可看作是多网络分支合作训练共同优化的网络模型,从而让网络模型对整体信息和局部信息都有更好的表达能力.在3个公开可用的细粒度识别数据集上进行了验证,实验结果表明,所提方法有效性均优于基线方法,且达到了目前先进的分类水平.     

基于注意力自身线性融合的弱监督细粒度图像分类算法

随着人工智能的飞速发展,计算机视觉领域对图像的分类任务不仅仅限于识别出物体的大类,更需要对同一类别的图像进行更加细致的子类划分.为了有效区分出类间的微小差异以及减少背景因素的干扰,提出了一种基于AABP的细粒度分类算法.首先,通过Inception V3预训练模型提取全局图像特征,并利用深度可分离卷积在特征映射上预测出...     

基于改进VGG网络的弱监督细粒度阿尔兹海默症分类方法

针对阿尔兹海默症(AD)患者和正常(NC)人之间核磁共振成像(MRI)图像差别小、分类难度大的问题,提出了基于改进VGG网络的弱监督细粒度AD分类方法.该方法以弱监督数据增强网络(WSDAN)为基本模型,主要由弱监督注意力学习模块、数据增强模块及双线性注意力池化模块等构成.首先,通过弱监督力注意学习模块生成特征图和注意...     

基于多分支神经网络模型的弱监督细粒度图像分类方法

针对传统基于注意力机制的神经网络不能联合关注局部特征和旋转不变特征的问题,提出一种基于多分支神经网络模型的弱监督细粒度图像分类方法。首先,用轻量级类激活图(CAM)网络定位有潜在语义信息的局部区域,设计可变形卷积的残差网络ResNet-50和旋转不变编码的方向响应网络(ORN);其次,利用预训练模型分别初始化特征网络,并输入原图和以上局部区域分别对模型进行微调;最后,组合三个分支内损失和分支间损失优化整个网络,对测试集进行分类预测。所提方法在CUB-200-2011和FGVC_Aircraft数据集上的分类准确率分别达到87.7%和90.8%,与多注意力卷积神经网络(MA-CNN)方法相比,分别提高了1.2个百分点和0.9个百分点;在Aircraft_2数据集上的分类准确率达到91.8%,比ResNet-50网络提高了4.1个百分点。实验结果表明,所提方法有效提高了弱监督细粒度图像分类的准确率。     

基于多粒度空间混乱的细粒度图像分类算法

细粒度图像分类是计算机视觉领域一个具有挑战性的任务,在实际场景中具有很高的应用价值。其中不同子类别的物体整体轮廓差异较小,微小的判别性局部区域是分类的关键。然而,这些重要的局部区域的尺度可能不同, 不能用单一的标准去衡量它们。为了解决这个问题,本文提出了多粒度空间混乱模块来帮助神经网络学习如何寻找到不同尺度的判别性细节。该模块首先将图片划分为不同粒度的局部区域,然后随机打乱并重组构成新的输入图片。经过处理的图片具有区域无关性,从而迫使网络更好地在不同粒度层次下寻找有判别力的局部区域并从中学习特征。在3个广泛使用的细粒度图像分类数据集上的实验证明本文提出的模块可以有效地帮助网络寻找判别性局部区域从而提升了准确率并且网络不需要图片的任何部位标注信息。     

基于多分支注意力增强的细粒度图像分类

针对细粒度图像类间差距小、类内差距大的问题,文中提出以弱监督学习的方式使用多分支注意力增强卷积网络,从而实现细粒度图像分类.文中采用Inception-V3网络提取图像的基础特征,从中获取多个局部响应区域并进行特征融合,在此基础上采用注意力机制对图像关键区域进行自约束的局部裁剪和局部擦除,避免仅提取目标单个部位的特征,...     

基于多通道视觉注意力的细粒度图像分类

视觉注意力机制在细粒度图像分类中得到了广泛的应用。现有方法多是构建一个注意力权重图对特征进行简单加权处理。对此,本文提出了一种基于可端对端训练的深度神经网络模型实现的多通道视觉注意力机制,首先通过多视觉注意力图描述对应于视觉物体的不同区域,然后提取对应高阶统计特性得到相应的视觉表示。在多个标准的细粒度图像分类测试任务中,基于多通道视觉注意的视觉表示方法均优于近年主流方法。     

结合注意力与双线性网络的细粒度图像分类

如何对识别物体进行精确定位并提取更具有表达力的特征,是细粒度图像分类算法的核心问题之一.为此,本文提出了一种基于注意力机制的双线性卷积神经网络细粒度图像分类算法(BAM B-CNN),主要工作如下:1)通过VGG-16网络获得原始图像的激活映射图,选取大于平均值的最大联通区域作为物体图像;2)使用区域建议网络(RPN)...     

基于深度模型迁移的细粒度图像分类方法

针对细粒度图像分类方法中存在模型复杂度较高、难以利用较深模型等问题,提出深度模型迁移（DMT）分类方法。首先,在粗粒度图像数据集上进行深度模型预训练;然后,使用细粒度图像数据集对预训练模型logits层进行不确切监督学习,使其特征分布向新数据集特征分布方向迁移;最后,将迁移模型导出,在对应的测试集上进行测试。实验结果表明,在STANFORD DOGS、CUB-200-2011、OXFORD FLOWER-102细粒度图像数据集上,DMT分类方法的分类准确率分别达到72.23%、73.33%和96.27%,验证了深度模型迁移方法在细粒度图像分类领域的有效性。     

细粒度图像分类综述

细粒度图像具有类内方差大、类间方差小的特点,致使细粒度图像分类（FGIC）的难度远高于传统的图像分类任务。介绍了FGIC的应用场景、任务难点、算法发展历程和相关的常用数据集,主要概述相关算法：基于局部检测的分类方法通常采用连接、求和及池化等操作,模型训练较为复杂,在实际应用中存在较多局限;基于线性特征的分类方法模仿人类视觉的两个神经通路分别进行识别和定位,分类效果相对较优;基于注意力机制的分类方法模拟人类观察外界事物的机制,先扫描全景,后锁定重点关注区域并形成注意力焦点,分类效果有进一步的提高。最后针对目前研究的不足,展望FGIC下一步的研究方向。     

基于Xception改进的卷积神经网络服装分类算法

针对服装图像分类模型的参数量过大, 时间复杂度过高和服装分类准确度不高等问题. 提出了一种利用网络剪枝方法和网络稀疏约束, 减少卷积神经网络Xception中从卷积层到全连接层的冗余参数, 增加网络的稀疏性和随机性, 减轻过拟合现象, 在保证不影响精度的前提下尽可能降低模型的时间复杂度和计算复杂度. 此外在卷积层引入了注意力机制SE-Net模块, 提升了服装图像分类的准确率. 在DeepFashion数据集上的实验结果表明, 使用网络剪枝方法缩减的网络模型在空间复杂度上和时间复杂度上均有所降低, 服装图像分类准确率和运行效率与VGG-16, ResNet-50和Xception模型相比均有所提升, 使得模型对设备的要求更低, 深度卷积神经网络在移动端、嵌入式设备中使用成为可能, 在实际服装领域的电商平台的应用中有比较高的使用价值.     

结合双语义数据增强与目标定位的细粒度图像分类

细粒度图像分类旨在对属于同一基础类别的图像进行更细致的子类划分,其较大的类内差异和较小的类间差异使得提取局部关键特征成为关键所在。提出一种结合双语义数据增强与目标定位的细粒度图像分类算法。为充分提取具有区分度的局部关键特征,在训练阶段基于双线性注意力池化和卷积块注意模块构建注意力学习模块和信息增益模块,分别获取目标局部细节信息和目标重要轮廓这2类不同语义层次的数据,以双语义数据增强的方式提高模型准确率。同时,在测试阶段构建目标定位模块,使模型聚焦于分类目标整体,从而进一步提高分类准确率。实验结果表明,该算法在CUB-200-2011、FGVC Aircraft和Stanford Cars数据集中分别达到89.5%、93.6%和94.7%的分类准确率,较基准网络Inception-V3、双线性注意力池化特征聚合方式以及B-CNN、RA-CNN、MA-CNN等算法具有更好的分类性能。     

基于自适应特征融合的小样本细粒度图像分类

现有的小样本学习算法未能充分提取细粒度图像的特征,导致细粒度图像分类准确率较低。为了更好地对基于度量的小样本细粒度图像分类算法中提取的特征进行建模,提出了一种基于自适应特征融合的小样本细粒度图像分类算法。在特征提取网络上设计了一种自适应特征融合嵌入网络,可以同时提取深层的强语义特征和浅层的位置结构特征,并使用自适应算法和注意力机制提取关键特征。在训练特征提取网络上采用单图训练和多图训练方法先后训练,在提取样本特征的同时关注样本之间的联系。为了使得同一类的特征向量在特征空间中的距离更加接近,不同类的特征向量的距离更大,对所提取的特征向量做特征分布转换、正交三角分解和归一化处理。提出的算法与其他9种算法进行实验对比,在多个细粒度数据集上评估了5 way 1 shot的准确率和5 way 5 shot的准确率。在Stanford Dogs数据集上的准确率提升了5.27和2.90个百分点,在Stanford Cars数据集上的准确率提升了3.29和4.23个百分点,在CUB-200数据集上的5 way 1 shot的准确率只比DLG略低0.82个百分点,但是5 way 5 shot上提升了1.55个百分点。     

基于文本与视觉信息的细粒度图像分类

一般细粒度图像分类只关注图像局部视觉信息,但在一些问题中图像局部的文本 信息对图像分类结果有直接帮助,通过提取图像文本语义信息可以进一步提升图像细分类效果。 我们综合考虑了图像视觉信息与图像局部文本信息,提出一个端到端的分类模型来解决细粒度 图像分类问题。一方面使用深度卷积神经网络获取图像视觉特征,另一方面依据提出的端到端 文本识别网络,提取图像的文本信息,再通过相关性计算模块合并视觉特征与文本特征,送入 分类网络。最终在公共数据集 Con-Text 上测试该方法在图像细分类中的结果,同时也在 SVT 数据集上验证端到端文本识别网络的能力,均较之前方法获得更好的效果。     

基于深度残差网络图像分类算法研究综述

近年来,由于计算机技术的飞速迅猛发展,特别是硬件条件的改善,计算能力不断提高,深层神经网络训练的时间大大缩短,深度残差网络也迅速成为一个新的研究热点.深度残差网络作为一种极深的网络架构,在精度和收敛等方面都展现出了很好的特性.研究者们深入研究其本质并在此基础上提出了很多关于深度残差网络的改进,如宽残差网络,金字塔型残差网络,密集型残差网络,注意力残差网络等等.本文从残差网络的设计出发,分析了不同残差单元的构造方式,介绍了深度残差网络不同的变体.从不同的角度比较了不同网络之间的差异以及这些网络架构在常用图像分类数据集上的性能表现.最后我们对于这些网络进行了总结,并讨论了未来深度残差网络在图像分类领域的一些研究方向.     

基于轻量级深层卷积神经网络的花卉图像分类系统

为解决深层卷积神经网络（Deep convolutional neural network, DCNN）模型在算力弱、存储成本高的AI边缘计算设备上难以高效应用的现实问题,本文利用重量级网络辅助训练轻量级网络,设计了一种基于轻量级神经网络的花卉图像分类系统。首先利用重量级DCNN并结合迁移学习、爬虫技术与最大连通区域分割方法,构建了适用于轻量级网络训练的扩充花卉数据集。然后基于Tiny-darknet与Darknet-reference两种网络及扩充后的花卉数据集训练得到两种面向弱算力设备的轻量级DCNN模型。训练得到的两种花卉分类网络在Oxford102花卉数据集上的平均分类准确率可达98.07%与98.83%,模型大小分别为4 MB与28 MB,在AI边缘计算设备中具有较好的应用前景。     

浅层模糊K均值图像分类网络

由于图像数据的冗余性较高,传统的图像分类方法的分类准确率较低,深度学习方法较传统方法提高了图像分类的准确率,但其训练较为复杂。提出了一种浅层模糊K均值图像分类网络,其基本思想是利用模糊K均值聚类求出的聚类中心构造图像特征向量,再利用特征向量训练浅层网络分类器,最后利用训练好的分类器完成图像分类。通过与传统方法的对比,验证了该方法能够较好地完成图像分类任务,并对实验结果进行了分析,为以后的工作奠定了基础。     

基于多任务级联残差网络的枪支图像识别系统

针对枪支种属识别目前依赖检验人员经验、识别效率较低的问题,建立一种基于多任务级联深度残差网络的枪支图像自动识别模型。以ResNet18为基本构建单元,通过级联融合4个任务中的Softmax损失函数约束,实现对枪支图像从枪族到枪型的多维度聚类。在该模型的基础上,设计一套制式枪支图像智能检索系统,对拍摄上传的枪支图像种属信息进行自动识别。在自建的制式枪支图像数据集上进行实验,结果表明,与EfficientNet、NTS-net等模型相比,该模型的识别准确率更高,Rank-1、Rank-20识别准确率分别达到61.12%、95.28%,且其具有更好的鲁棒性。