三角形约束下的词袋模型图像分类方法

视觉词袋模型广泛地应用于图像分类与图像检索等领域.在传统词袋模型中,视觉单词统计方法忽略了视觉词之间的空间信息以及分类对象形状信息,导致图像特征表示区分能力不足.本文提出了一种改进的视觉词袋方法,结合显著区域提取和视觉单词拓扑结构,不仅能够产生更具代表性的视觉单词,而且能够在一定程度上避免复杂背景信息和位置变化带来的干扰.首先,通过对训练图像进行显著区域提取,在得到的显著区域上构建视觉词袋模型.其次,为了更精确的描述图像的特征,抵抗多变的位置和背景信息的影响,该方法采用视觉单词拓扑结构策略和三角剖分方法,融入全局信息和局部信息.通过仿真实验,并与传统的词袋模型及其他模型进行比较,结果表明本文提出的方法获得了更高的分类准确率.     

一种结合显著性检测与词袋模型的目标识别方法

针对词袋模型易受到无关的背景视觉噪音干扰的问题,提出了一种结合显著性检测与词袋模型的目标识别方法。首先,联合基于图论的视觉显著性算法与一种全分辨率视觉显著性算法,自适应地从原始图像中获取感兴趣区域。两种视觉显著性算法的联合可以提高获取的前景目标的完整性。然后,使用尺度不变特征变换描述子从感兴趣区域中提取特征向量,并通过密度峰值聚类算法对特征向量进行聚类,生成视觉字典直方图。最后,利用支持向量机对目标进行识别。在PASCAL VOC 2007和MSRC-21数据库上的实验结果表明,该方法相比同类方法可以有效地提高目标识别性能。     

基于分类融合和关联规则挖掘的图像语义标注

图像语义自动标注问题是现阶段一个具有挑战性的难题。在跨媒体相关模型基础上,提出了融合图像类别信息的图像语义标注新方法,并利用关联规则挖掘算法改善标注结果。首先对图像进行低层特征提取,用“视觉词袋”描述图像;然后对图像特征分别进行K-means聚类和基于支持向量机的多类别分类,得到图像相似性关系和类别信息;计算语义标签和图像之间的概率关系,并将图像类别信息作为权重融合到标签的统计概率中,得到候选标注词集;最后以候选标注词概率为依据,利用改善的关联规则挖掘算法挖掘文本关联度,并对候选标注词集进行等频离散化处理,从而得到最终标注结果。在图像集Corel上进行的标注实验取得了较为理想的标注结果。     

基于信息熵加权词包模型的扣件图像检测

针对传统“视觉词包模型”在进行铁路扣件检测时忽略图像结构而导致的区分能力不强的问题,提出一种基于信息熵加权词包模型的扣件检测模型EW_BOW。在传统“视觉词包模型”的基础上,引入信息熵对扣件图像局部区域的词包模型的词频进行加权处理,加强词包模型对不同类别扣件的区分性,并利用潜在狄利克雷分布学习扣件图像的主题分布。最后,采用支持向量机对扣件进行分类识别。对四类扣件图像的分类实验证明该模型能够有效提高扣件分类精确度。     

融入类别信息的图像标注概率主题模型

基于概率主题模型的图像标注方法旨在通过学习图像语义进行图像标注,近年来倍受研究人员关注。考虑到类别对图像标注可提供有价值的信息,例如,“高楼”类图像,出现“天空”、“摩天楼”的可能性大于“海水”和“沙滩”。而“海岸”类图像出现“海水”、“沙滩”的可能性要大于“天空”和“摩天楼”。在Corr-LDA模型的基础上利用图像类别来改进图像的标注性能,提出了一个融入类别信息的图像标注概率主题模型。为该模型推导了一个基于变分EM的参数估计算法,并给出了使用该模型标注图像的方法。在LabelMe和UIUC-Sport两个真实数据集上验证了提出模型的标注性能要高于其他相比较模型。     

图像分类中基于分类矢量量化的视觉词袋模型

特征表示是图像识别和分类的基础，视觉词袋是一种图像的特征表示方法。分析现有视觉词典构建方法的不足，提出一种新的视觉词典构建方法。首先利用梯度方差把特征矢量分为光滑类和边缘类，然后分别针对不同类别的特征矢量进行视觉词典的构建，最后根据两类视觉词典生成视觉词袋。图像分类实验表明，提出的新方法能提高分类准确率。     

基于按类视觉词袋模型与标签投票的图像检索

视觉词袋模型在基于内容的图像检索中已经得到了广泛应用,然而对于自然图像的检索,由于图像目标视角多样、背景复杂、光照多变等原因,传统的视觉词袋模型的检索准确率仍然比较低。提出一种按类视觉词袋模型,即采用按照图像中目标物体的类别进行分组训练视觉词,从而提高视觉词的表征能力,改善检索效果;并根据检索返回图像的标签,以投票方式对查询目标做出判别,辅以标签检索,从而较大地提高了检索结果的准确率。     

基于最大频繁项集的图像分类技术

针对传统视觉词袋（Bag Of Visual Words,BOVW）模型缺少空间信息,且不能充分表达图像所属类别共有特征的问题,提出一种基于最大频繁项集的视觉词袋表示方法。该方法在排除孤立特征点的基础上,引入环形区域划分的思想,嵌入更多的空间信息。通过对不同环的视觉单词进行频繁项挖掘得到新的视觉单词表示,能有效提高同类别图像视觉单词的相似程度,而使不同类别视觉单词的差异更为显著。通过在图像数据集COREL及Caltech-256上进行分类实验,验证了该方法的有效性和可行性。     

一种用于图像分类的多视觉短语学习方法

针对词袋图像表示模型的语义区分性和描述能力有限的问题,以及由于传统的基于词袋模型的分类方法性能容易受到图像中背景、遮挡等因素影响的问题,本文提出了一种用于图像分类的多视觉短语学习方法.通过构建具有语义区分性和空间相关性的视觉短语取代视觉单词,以改善图像的词袋模型表示的准确性.在此基础上,结合多示例学习思想,提出一种多视觉短语学习方法,使最终的分类模型能反映图像类别的区域特性.在一些标准测试集合如Calrech-101[1]和Scene-15[2]上的实验结果验证了本文所提方法的有效性,分类性能分别相对提高了约9％和7％.     

基于词袋模型的迁移学习算法

在分类新类别图像时,词袋模型总需要重新学习视觉词典及分类器,而不能充分利用已经学习好的视觉词典。运用迁移学习的思想,提出一种视觉短语的迁移学习算法。这种视觉短语不仅包含图像的局部不变特征,而且包含特征间的空间结构信息,能更有效地描述不同类别图像之间的共同特征。在分类新类别图像时,算法通过迁移视觉短语而不是重新学习视觉词典,来完成图像分类任务。实验结果证明这种迁移算法能有效地利用已有知识,在分类新类别图像时取得很好的效果,而且还能适用于仅有少量训练样本的图像分类任务。     

基于相位奇点包的图像分类方法研究

相位奇点是复信号中的零点。在此前的研究中,我们发现相位奇点可提供丰富的图像信息,并对变换噪声等具有鲁棒性。本论文将相位奇点与视觉词袋模型相结合,构建图像表示的相位奇点包表示方法,并在此基础上开发图像的分类方法。与传统基于SIFT检测子的图像表示方法相比,基于相位奇点的表示方法不仅可以找到更多的兴趣点,而且可以根据相位奇点的正负属性进行单词的预分类。实验结果表明作者提出的方案是可行的,并在PASCAL2005图像分类的结果上表现的比基于SIFT的方法更好。     

Scale coding bag of deep features for human attribute and action recognition

Most approaches to human attribute and action recognition in still images are based on image representation in which multi-scale local features are pooled across scale into a single, scale-invariant encoding. Both in bag-of-words and the recently popular representations based on convolutional neural networks, local features are computed at multiple scales. However, these multi-scale convolutional features are pooled into a single scale-invariant representation. We argue that entirely scale-invariant image representations are sub-optimal and investigate approaches to scale coding within a bag of deep features framework. Our approach encodes multi-scale information explicitly during the image encoding stage. We propose two strategies to encode multi-scale information explicitly in the final image representation. We validate our two scale coding techniques on five datasets: Willow, PASCAL VOC 2010, PASCAL VOC 2012, Stanford-40 and Human Attributes (HAT-27). On all datasets, the proposed scale coding approaches outperform both the scale-invariant method and the standard deep features of the same network. Further, combining our scale coding approaches with standard deep features leads to consistent improvement over the state of the art.     

局部特征与多示例学习结合的超声图像分类方法

利用全局特征对超声图像进行描述具有一定的局限性,而且对图像进行手工标注的成本过高, 为解决上述问题,本文提出了一种利用局部特征描述超声图像,并结合多示例学习对超声图像进行分类的新方法. 粗略定位图像中的感兴趣区域 (Region of interest, ROI),并提取局部特征,将感兴趣区域看作由局部特征构成的示例包, 采用自组织映射(Self-organizing map, SOM)的方法对示例特征进行矢量量化,采用Bag of words方法将示例特征映射到示例包空间,进而采用传统的支持向量机对示例包进行分类.本文提出的方法在临床超声图像上进行了实验,实验结果表明,该方法具有良好的泛化能力和较高的准确性.     

多特征融合的遥感图像分类

针对高分辨率遥感图像特点,提出了一种多特征融合的分类方法。该方法首先改进了原始的视觉词袋生成算法;然后,分别提取图像的视觉词袋局部特征、颜色直方图特征以及Gabor纹理特征;最后采用支持向量机进行分类,并对多特征分类结果进行自适应综合。采用一个具有2 100幅图像的大型遥感图像分类公共测试数据集进行分类实验,与仅用单一特征分类方法的最高分类精度相比,本文多特征融合的遥感影像分类方法总体平均分类精度提高了10%,表明本文提出方法是一种有效的高分辨率遥感图像分类方法     

分级特征融合的图像语义分割

在图像语义分割中,利用卷积神经网络对图像信息进行特征提取时,针对卷积神经网络没有有效利用各层级间的特征信息而导致图像语义分割精度受损的问题,提出分级特征融合的图像语义分割方法。该方法利用卷积结构分级提取含有像素级的浅层低级特征和含有图像级的深层语义特征,进一步挖掘不同层级间的特征信息,充分获取浅层低级特征和深层语义特征中隐藏的特征信息,接着通过上采样操作细化浅层低级特征信息后对所有特征信息进行合并融合,最终实现分级特征融合的图像语义分割。在实验方面,通过多次分解实验验证了所提方法在不同阶段所提取的特征信息和不同网络深度时的特征信息对语义分割结果的影响。同时在公认的图像语义分割数据集PASCAL VOC 2012上,与3种主流方法进行实验对比,结果显示所提方法在客观评价指标和主观效果性能方面均存在优越性,从而验证了该方法可以有效地提升语义分割的精度。     

基于面向对象信息提取技术的城市用地分类

针对高分辨率遥感影像的城市用地分类,引入了面向对象的信息提取技术,并将其与传统基于像素光谱信息的分类方法进行了比较。在此基础上详述了面向对象信息提取的关键技术---多尺度影像分割和基于分割的分类技术。以城市作为研究区,实现城市用地的自动分类。图像处理过程包括几何校正、HIS融合、图像分割和图像分类。最终分类结果表明:视觉上,面向对象信息提取技术克服了传统方法无法克服的“椒盐”噪声的影响;精度上,面向对象信息提取技术的总体精度高达84.82%,比最大似然法的总体精度提高了10.95%,并且各类地物信息的提取精度均有所提高,其中草地、道路、建筑物阴影的精度较高。     

基于对象位置线索的弱监督图像语义分割方法

深度卷积神经网络使用像素级标注,在图像语义分割任务中取得了优异的分割性能.然而,获取像素级标注是一项耗时并且代价高的工作.为了解决这个问题,提出一种基于图像级标注的弱监督图像语义分割方法.该方法致力于使用图像级标注获取有效的伪像素标注来优化分割网络的参数.该方法分为3个步骤：（1）首先,基于分类与分割共享的网络结构,通过空间类别得分（图像二维空间上像素点的类别得分）对网络特征层求导,获取具有类别信息的注意力图;（2）采用逐次擦除法产生显著图,用于补充注意力图中缺失的对象位置信息;（3）融合注意力图与显著图来生成伪像素标注并训练分割网络.在PASCAL VOC 2012分割数据集上的一系列对比实验,证明了该方法的有效性及其优秀的分割性能.