图像分类中基于分类矢量量化的视觉词袋模型

特征表示是图像识别和分类的基础，视觉词袋是一种图像的特征表示方法。分析现有视觉词典构建方法的不足，提出一种新的视觉词典构建方法。首先利用梯度方差把特征矢量分为光滑类和边缘类，然后分别针对不同类别的特征矢量进行视觉词典的构建，最后根据两类视觉词典生成视觉词袋。图像分类实验表明，提出的新方法能提高分类准确率。     

用于图像场景分类的空间视觉词袋模型

以传统的词袋模型为基础,根据同类场景图像具有空间相似性的特点,提出了一种用于图像场景分类的空间视觉词袋模型.首先将图像进行不同等级的空间划分,针对对应空问子区域进行特征提取和k均值聚类,形成该区域的视觉关键词,进而构建整个训练图像集的空间视觉词典.进行场景识别时,将所有空间子区域的视觉关键词连接成一个全局特征向量进行相...     

词包模型中视觉单词歧义性分析

传统词包(BOW)模型中的视觉单词是通过无监督聚类图像块的特征向量得到的,没有考虑视觉单词的语义信息和语义性质。为解决该问题,提出一种基于文本分类的视觉单词歧义性分析方法。利用传统BOW模型生成初始视觉单词词汇表,使用文档频率、χ2分布和信息增益这3种文本分类方法分析单词语义性质,剔除具有低类别信息的歧义性单词,并采用支持向量机分类器实现图像分类。实验结果表明,该方法具有较高的分类精度。     

基于优化视觉词袋模型的图像分类方法

针对视觉词袋（BOV）模型中过大的视觉词典会导致图像分类时间代价过大的问题,提出一种加权最大相关最小相似（W-MR-MS）视觉词典优化准则。首先,提取图像的尺度不变特征转换（SIFT）特征,并用K-Means算法对特征聚类生成原始视觉词典;然后,分别计算视觉单词与图像类别间的相关性,以及各视觉单词间的语义相似性,引入一个加权系数权衡两者对图像分类的重要程度;最后,基于权衡结果,删除视觉词典中与图像类别相关性弱、与视觉单词间语义相似性大的视觉单词,从而达到优化视觉词典的目的。实验结果表明,在视觉词典规模相同的情况下,所提方法的图像分类精度比传统基于K-Means算法的图像分类精度提高了5.30%;当图像分类精度相同的情况下,所提方法的时间代价比传统K-Means算法下的时间代价降低了32.18%,因此,所提方法具有较高的分类效率,适用于图像分类。     

图像场景识别中深度学习方法综述

场景识别是一种用计算机实现人的视觉功能的技术,它的研究目标是使计算机能够对图像或视频进行处理,自动识别和理解图像和视频中的场景信息。由于场景识别技术拥有广泛的应用前景,因此得到了许多关注。随着大数据时代的来临和深度学习的发展,使用深度学习方法解决场景识别问题已经成为场景识别领域未来的发展方向。文章首先概述介绍了场景识别技术的主要研究内容和发展情况,之后阐述了在图像场景识别中深度学习方法的应用情况,然后介绍了一些在图像场景识别中深度学习方法应用的具体的典型案例,同时给出了这几种方法具体的对比与分析。最后给出了文章的结论,总结了当前图像场景识别中使用深度学习方法的发展情况,并且对未来的发展方向给出了一些展望和建议。     

超像素词包模型与SVM分类的图像标注

为了改善基于词包模型与支持向量机(SVM)分类一幅图对应一个标签的单标签分类问题,提出了一种基于超像素词包模型与SVM分类的图像标注算法.将超像素分割结果作为词包模型的基本单元,用词包模型生成的视觉词汇表示超像素区域特征,保留了图像中的同质区域,很好地利用了图像的区域特征.仿真结果表明,该方法能有效改善基于词包模型与SVM分类的单标签分类问题,且分类的准确性有所提高.     

多特征融合的场景图像分类算法

提出了一种Gabor-LBP频域纹理特征与词包模型语义特征相结合的场景图像分类算法.利用Gabor变换得到的频域信息,及对应的LBP特征,与视觉词包模型（BOW）提取的语义特征自适应相融合,实现分类.为了验证本文算法,利用两个标准图像测试库进行比较测试,实验结果表明,本文算法在改善图像纹理表达上具有明显优势,特别是对于图像的光照、旋转、尺度都具有很好的鲁棒性.     

一种视觉词软直方图的图像表示方法

基于视觉词的统计建模和判别学习,提出一种视觉词软直方图的图像表示方法.假设属于同一视觉词的图像局部特征服从高斯混合分布,利用最大-最小后验伪概率判别学习方法从样本中估计该分布,计算局部特征与视觉词的相似度.累加图像中每个视觉词与对应局部特征的相似度,在全部视觉词集合上进行结果的归一化,得到图像的视觉词软直方图.讨论了两种具体实现方法:一种是基于分类的软直方图方法,该方法根据相似度最大原则建立局部特征与视觉词的对应关系;另一种是完全软直方图方法,该方法将每个局部特征匹配到所有视觉词.在数据库Caltech-4和PASCAL VOC 2006上的实验结果表明,该方法是有效的.     

提取目标区域词袋特征的图像分类方法

规则网格是视觉词袋模型中常用的图像检测方法,该方法抽取图像所有区块,获得背景区块和目标区块完整的图像信息。事实上,抽取的背景区块信息对类别的判定往往会有一定的混淆作用。以“摩托车”类和“小汽车”类的图像为例,这两类图像背景特征相似,大多都是道路,一般的分类方法很可能将它们分为相同类别。可见,背景信息会干扰图像分类结果。因此,提出一种提取目标区域词袋特征的图像分类方法。利用图像分割去除背景信息提取目标区域;对目标区域构建视觉词袋模型;使用SVM分类器对图像进行分类。PASCAL VOC2006及PASCAL VOC2010数据集上的实验结果表明,提取目标区域词袋特征的图像分类方法具有较好的分类性能。     

融合视觉感知特性的场景分类算法

目的 目前对于场景分类问题,由于其内部结构的多样性和复杂性,以及光照和拍摄角度的影响,现有算法大多通过单纯提取特征进行建模,并没有考虑场景图像中事物之间的相互关联,因此,仍然不能达到一个理想的分类效果。本文针对场景分类中存在的重点和难点问题,充分考虑人眼的视觉感知特性,利用显著性检测,并结合传统的视觉词袋模型,提出了一种融合视觉感知特性的场景分类算法。方法 首先,对图像进行多尺度分解,并提取各尺度下的图像特征,接着,检测各尺度下图像的视觉显著区域,最后,将显著区域信息与多尺度特征进行有机融合,构成多尺度融合窗选加权SIFT特征（WSSIFT）,对场景进行分类。结果 为了验证本文算法的有效性,该算法在3个标准数据集SE、LS以及IS上进行测试,并与不同方法进行比较,分类准确率提高了约3%~17%。结论 本文提出的融合视觉感知特性的场景分类算法,有效地改善了单纯特征描述的局限性,并提高了图像的整体表达。实验结果表明,该算法对于多个数据集都具有较好的分类效果,适用于场景分析、理解、分类等机器视觉领域。     

基于尺度注意力网络的遥感图像场景分类

针对卷积神经网络（CNN）平等地对待输入图像中潜在的对象信息和背景信息,而遥感图像场景又存在许多小对象和背景复杂的问题,提出一种基于注意力机制和多尺度特征变换的尺度注意力网络模型。首先,开发一个快速有效的注意力模块,基于最优特征选择生成注意力图;然后,在ResNet50网络结构的基础上嵌入注意力图,增加多尺度特征融合层,并重新设计全连接层,构成尺度注意力网络;其次,利用预训练模型初始化尺度注意力网络,并使用训练集对模型进行微调;最后,利用微调后的尺度注意力网络对测试集进行分类预测。该方法在实验数据集AID上的分类准确率达到95.72%,与ArcNet方法相比分类准确率提高了2.62个百分点;在实验数据集NWPU-RESISC上分类准确率达到92.25%,与IORN方法相比分类准确率提高了0.95个百分点。实验结果表明,所提方法能够有效提高遥感图像场景分类准确率。     

特征重校准融合密集神经网络的遥感场景分类

针对遥感影像场景中空间信息丰富以及冗余的地理特征会对网络训练时造成干扰等问题,提出一种采用特征重校准融合密集神经网络的遥感影像场景分类方法。通过缩聚与激发机制建立SE block,将SE block与其多尺度分支嵌入DenseNet-121中进行特征重校准,利用DenseNet中密集连接方式加强信息流的传递。该方法使得整体模型获得全局感受野的稳健特征表示,减少遥感场景特征的冗余映射。通过在两个公开遥感影像数据集UCMerced_LandUse和SIRI-WHU中进行实验,分类精度分别高达97.7%和98.9%,验证了该方法的有效性。     

自监督学习下小样本遥感图像场景分类

目的 卷积神经网络(convolutional neural network, CNN)在遥感场景图像分类中广泛应用,但缺乏训练数据依然是不容忽视的问题。小样本遥感场景分类是指模型只需利用少量样本训练即可完成遥感场景图像分类任务。虽然现有基于元学习的小样本遥感场景图像分类方法可以摆脱大数据训练的依赖,但模型的泛化能力依然较弱。为了解决这一问题,本文提出一种基于自监督学习的小样本遥感场景图像分类方法来增加模型的泛化能力。方法 本文方法分为两个阶段。首先,使用元学习训练老师网络直到收敛;然后,双学生网络和老师网络对同一个输入进行预测。老师网络的预测结果会通过蒸馏损失指导双学生网络的训练。另外,在图像特征进入分类器之前,自监督对比学习通过度量同类样本的类中心距离,使模型学习到更明确的类间边界。两种自监督机制能够使模型学习到更丰富的类间关系,从而提高模型的泛化能力。结果 本文在NWPU-RESISC45(North Western Polytechnical University-remote sensing image scene classification)、AID(aerial ima...     

HSRS-SC:面向遥感场景分类的高光谱图像数据集

目的 场景分类是遥感领域一项重要的研究课题，但大都面向高分辨率遥感影像。高分辨率影像光谱信息少，故场景鉴别能力受限。而高光谱影像包含更丰富的光谱信息，具有强大的地物鉴别能力，但目前仍缺少针对场景级图像分类的高光谱数据集。为了给高光谱场景理解提供数据支撑，本文构建了面向场景分类的高光谱遥感图像数据集（hyperspectral remote sensing dataset for scene classification，HSRS-SC）。方法 HSRS-SC来自黑河生态水文遥感试验航空数据，是目前已知最大的高光谱场景分类数据集，经由定标系数校正、大气校正等处理形成。HSRS-SC分为5个类别，共1 385幅图像，且空间分辨率较高（1 m），波长范围广（380~1 050 nm），同时蕴含地物丰富的空间和光谱信息。结果 为提供基准结果，使用AlexNet、VGGNet-16、GoogLeNet在3种方案下组织实验。方案1仅利用可见光波段提取场景特征。方案2和方案3分别以加和、级联的形式融合可见光与近红外波段信息。结果表明有效利用高光谱影像不同波段信息有利于提高分类性能，最高分类精度达到93.20%。为进一步探索高光谱场景的优势，开展了图像全谱段场景分类实验。在两种训练样本下，高光谱场景相比RGB图像均取得较高的精度优势。结论 HSRS-SC可以反映详实的地物信息，能够为场景语义理解提供良好的数据支持。本文仅利用可见光和近红外部分波段信息，高光谱场景丰富的光谱信息尚未得到充分挖掘。后续可在HSRS-SC开展高光谱场景特征学习及分类研究。     

细粒度图像分类的互补注意力方法

目的 由于分类对象具有细微类间差异和较大类内变化的特点,细粒度分类一直是一个具有挑战性的任务。绝大多数方法利用注意力机制学习目标中显著的局部特征。然而,传统的注意力机制往往只关注了目标最显著的局部特征,同时抑制其他区域的次级显著信息,但是这些抑制的信息中通常也含有目标的有效特征。为了充分提取目标中的有效显著特征,本文提出了一种简单而有效的互补注意力机制。方法 基于SE（squeeze-and-excitation）注意力机制,提出了一种新的注意力机制,称为互补注意力机制（complemented SE,CSE）。既从原始特征中提取主要的显著局部特征,也从抑制的剩余通道信息中提取次级显著特征,这些特征之间具有互补性,通过融合这些特征可以得到更加高效的特征表示。结果 在CUB-Birds（Caltech-UCSD Birds-200-2011）、Stanford Dogs、Stanford Cars和FGVC-Aircraft（fine-grained visual classification of aircraft）4个细粒度数据集上对所提方法进行验证,以ResNet50为主干网络,在测试集上的分类精度分别达到了87.9%、89.1%、93.9%和92.4%。实验结果表明,所提方法在CUB-Birds和Stanford Dogs两个数据集上超越了当前表现最好的方法,在Stanford Cars和FGVC-Aircraft数据集的表现也接近当前主流方法。结论 本文方法着重提升注意力机制提取特征的能力,得到高效的目标特征表示,可用于细粒度图像分类和特征提取相关的计算机视觉任务。     

Segmentation and classification of mixed text/graphics/image documents

In this paper, a feature-based document analysis system is presented which utilizes domain knowledge to segment and classify mixed text/graphics/image documents. In our approach, we first perform a run-length smearing operation followed by the stripe merging procedure to segment the blocks embedded in a document. The classification task is then performed based on the domain knowledge induced from the primitives associated with each type of medium. Proper use of domain knowledge is proved to be effective in accelerating the segmentation speed and decreasing the classification error. The experimental study reveals the feasibility of the new technique in segmenting and classifying mixed text/graphics/image documents.     

基于配对特征融合的声学场景分类方法

在近些年的研究中,单设备的声音场景分类已经取得不错的效果,然而多设备声音场景分类的进展缓慢。为了解决多设备分类时样本数量差异大的问题,提出了一种配对特征融合算法。通过计算每一对配对样本在频谱图上的差异,将这些差异累加后取平均,可以获得各个设备的平均频谱特征,用于设备样本的转换。该算法在增加设备样本数量的同时有效提升了模型的泛化能力。同时,为了获取全局信息,提出了一种轻量级注意力模块,通过对输入特征在频域上压缩后进行自注意力操作,可以在减少计算量的基础上使模型专注于整个声音序列信息的训练,实验结果表明所提算法在模型大小和分类精度方面与其他方法相比具有较好的优势。     

Learning multi-label scene classification

In classic pattern recognition problems, classes are mutually exclusive by definition. Classification errors occur when the classes overlap in the feature space. We examine a different situation, occurring when the classes are, by definition, not mutually exclusive. Such problems arise in semantic scene and document classification and in medical diagnosis. We present a framework to handle such problems and apply it to the problem of semantic scene classification, where a natural scene may contain multiple objects such that the scene can be described by multiple class labels (e.g., a field scene with a mountain in the background). Such a problem poses challenges to the classic pattern recognition paradigm and demands a different treatment. We discuss approaches for training and testing in this scenario and introduce new metrics for evaluating individual examples, class recall and precision, and overall accuracy. Experiments show that our methods are suitable for scene classification; furthermore, our work appears to generalize to other classification problems of the same nature.     

利用立体视觉的室内场景分类

场景分类的目标是为各种视觉处理任务建立语义上下文,尤其是为目标识别。双目视觉系统现已广泛配备在智能机器人上,然而场景分类的任务大多只是使用单目图像。由于室内场景的复杂性,使用单目图像进行场景分类的性能很低。提出了一种基于双目视觉的室内场景分类方法,使用在一些特定区域里拟合出的若干平面的参数作为场景的特征。采用层级的分类方法,依据视差图,场景被分为开放场所类和封闭场所类,利用提出的场景特征和Gist特征对上述两类进行细分。为了验证提出的方法,建立了一个包含四种场景类别的图像数据集。实验结果表明提出的方法取得了较好的分类性能。