基于金字塔模型的图像分类

传统词袋模型仅仅是将图像表示成视觉单词的直方图,并没有考虑到物体的形状信息,也没有考虑到视觉特征的空间信息.因此将金字塔模型引入到词袋模型中,建立金字塔词袋模型,将金字塔词袋模型与金字塔直方图模型相结合,两种信息相互补充,共同来表征图像;在分类器设计方面采用SVM进行分类.通过在Caltech 101数据库进行实验,验证了论文方法的有效性,实验结果表明,该方法能够大幅度提高图像分类的性能.     

单尺度词袋模型图像分类方法*

针对基于SIFT特征描述的图像分类方法需构造多尺度极值空间,运算耗时且部分极值点无直观视觉意义,提出一种新型的图像分类方法。该方法通过网格直接提取单尺度SIFT特征,并对局部特征进行单尺度词袋模型描述。由于单尺度SIFT无须构造多尺度空间且保留了更多的全局信息,从而极大地降低了计算复杂度且使分类正确率得到显著提升。实验结果表明,提出的单尺度SIFT比常规SIFT所形成的词袋模型在分类正确率上有明显提高。     

基于显著区域的图像自动标注*

为了提高图像自动标注的准确率,提出了一种基于图像显著区域的自动标注方法。首先提取图像的显著区域,然后提取图像的SIFT特征,利用K-均值聚类得到视觉词汇,并根据训练图像的SIFT特征是否位于显著区域进行不同的加权运算得到视觉词汇的词袋表示,最后利用支持向量机训练分类模型实现图像分类和标注。在一个包含1 255幅Corel图像的数据库进行实验,所提方法标注的准确率与整体考虑整幅图像特征相比有很大提高,表明提出的算法优于传统方法。     

考虑视觉焦点权重和词相关性的图像标注方法

为了弥补图像底层特征到高层语义之间的语义鸿沟,提出一种基于视觉焦点权重模型和词相关性的图像标注方法。由于人们对图像的认识过程中,对焦点区域有比较多的关注,因此可以通过视觉焦点权重模型计算图像各区域的视觉焦点权重来提取图像的焦点区域。同时焦点区域的标注词和其他区域的标注词在逻辑上是相关的,因此通过WordNet根据词汇相关性确定图像的最终标注向量。实验结果表明,通过该方法能提高图像自动语义标注的准确率。     

基于最长公共视觉词串的图像检索方法

词袋模型是图像检索中的一种关键技术。词袋模型中每张图像表示为视觉词在码本中的频率直方图。这样的检索方式忽视了视觉词间对于图像表示很重要的空间信息。提出一种全新的基于最长公共视觉词串的图像检索方法。词串的提取基于视觉词间的拓扑关系,包含很多图像的空间信息。在Holiday数据集上的实验结果表明提出的方法提升了词袋模型的检索效果。     

基于相关视觉关键词的图像自动标注方法研究

图像自动标注是计算机视觉与模式识别等领域中的重要问题.针对现有模型未对文本关键词的视觉描述形式进行建模,导致标注结果中大量出现与图像视觉内容无关的标注词等问题,提出了基于相关视觉关键词的图像自动标注模型VKRAM.该模型将标注词分为非抽象标注词与抽象标注词.首先建立非抽象标注词的视觉关键词种子,并提出了一个新方法抽取非抽象标注词对应的视觉关键词集合;接着根据抽象关键词的特点,运用提出的基于减区域的算法抽取抽象关键词对应的视觉关键词种子与视觉关键词集合;然后提出一个自适应参数方法与快速求解算法用于确定不同视觉关键词的相似度阈值;最后将上述方法相结合并用于图像自动标注中.该模型能从一定程度上解决标注结果中出现的大量无关标注词问题.实验结果表明,该模型在大多数指标上相比以往模型均有所提高.     

三角形约束下的词袋模型图像分类方法

视觉词袋模型广泛地应用于图像分类与图像检索等领域.在传统词袋模型中,视觉单词统计方法忽略了视觉词之间的空间信息以及分类对象形状信息,导致图像特征表示区分能力不足.本文提出了一种改进的视觉词袋方法,结合显著区域提取和视觉单词拓扑结构,不仅能够产生更具代表性的视觉单词,而且能够在一定程度上避免复杂背景信息和位置变化带来的干扰.首先,通过对训练图像进行显著区域提取,在得到的显著区域上构建视觉词袋模型.其次,为了更精确的描述图像的特征,抵抗多变的位置和背景信息的影响,该方法采用视觉单词拓扑结构策略和三角剖分方法,融入全局信息和局部信息.通过仿真实验,并与传统的词袋模型及其他模型进行比较,结果表明本文提出的方法获得了更高的分类准确率.     

基于支持区域探测的视觉短语的图像表示方法

近年来,基于bag-of-words模型的图像表示方法由于丢弃了视觉词汇之间的空间位置关系,且存在冗余信息,从而不能有效地表示该类图像。针对传统词袋模型视觉词汇之间相对位置关系利用不足,以及语义信息不明确的问题,提出采用基于支持区域的视觉短语来表示图像。通过支持区域探测得到图像中对分类起重要作用的支持区域,然后对支持区域上的视觉词进行空间建模得到视觉短语用于分类。最后在标准数据集UIUC-Sports8图像库和Scene-15图像库上进行对比实验,实验结果表明该算法具有良好的图像分类性能。     

融合颜色词袋特征的视觉词汇树图像检索

针对由图像灰度空间产生的传统词袋模型SIFT特征无法体现图像的颜色信息的问题,提出了一种融合颜色特征的视觉词汇树来对图像进行描述。提取SIFT特征并建立词汇树,获取图像的SIFT表示向量。利用K-means方法对图像库中的所有图像的HSV值进行聚类,获得基于HSV空间的颜色词袋表示向量,避免了传统颜色直方图方法所带来的量化误差。将SIFT特征与颜色词袋特征进行融合,完成了图像的全局特征和局部特征的融合。然后,计算融合特征的相似度,将相似度从高到低排序,完成图像检索。为了验证本方法的有效性,选择Corel图像库对算法性能进行实验分析,从主观评价和客观评价标准分别进行评价,并与传统方法进行了对比。结果表明,特征融合的检索性能与单一特征方法相比有较大提高。特征融合方法的平均检索查准率和查全率-查准率等评价指标,对比传统方法均有不同程度提高。     

基于按类视觉词袋模型与标签投票的图像检索

视觉词袋模型在基于内容的图像检索中已经得到了广泛应用,然而对于自然图像的检索,由于图像目标视角多样、背景复杂、光照多变等原因,传统的视觉词袋模型的检索准确率仍然比较低。提出一种按类视觉词袋模型,即采用按照图像中目标物体的类别进行分组训练视觉词,从而提高视觉词的表征能力,改善检索效果;并根据检索返回图像的标签,以投票方式对查询目标做出判别,辅以标签检索,从而较大地提高了检索结果的准确率。     

一种多层次抽象语义决策图像分类方法

视觉词包(Bag-of-visual-words, BoVW) 模型是一种有效的图像分类方法. 本文提出一种基于语义抽象的多层次决策(Multiple layer decision, MLD) 方法,通过在BoVW 中引入抽象语义进行多层次扩展,采用语义保留方法生成具有语义的视觉词典,利用自底向上的方式逐层传递语义, 训练上层语义分类器;分类时采用自顶向下方式逐层判断待测样本的类别. 用标准数据集验证方法的分类性能. 结果表明,本文提出的方法与主流分类方法相比具有更好的分类性能.     

基于感知哈希和视觉词袋模型的图像检索方法

针对移动增强现实中图像检索技术耗时长导致的实时性不高的问题,提出了一种 基于感知哈希和视觉词袋模型结合的图像检索方法。图像检索过程中,在保证一定正确率的基 础上加快了检索速度。首先,对数据集图像使用改进的感知哈希技术处理,选取与查询相似的 图像集合,达到筛选图像数据集的作用;然后,对相似图像集使用视觉词袋模型进行图像检索, 选取和查询图像中目标一致的目标图像。实验结果表明,该方法相比较视觉词袋模型算法检索 的平均正确率提高了 3.2%,检索时间缩短了 102.9 ms,能够满足移动增强现实中图像检索的实 时性要求,为移动增强现实系统提供了有利的条件。     

Content-based image retrieval and semantic automatic image annotation based on the weighted average of triangular histograms using support vector machine

In recent years, the rapid growth of multimedia content makes content-based image retrieval (CBIR) a challenging research problem. The content-based attributes of the image are associated with the position of objects and regions within the image. The addition of image content-based attributes to image retrieval enhances its performance. In the last few years, the bag-of-visual-words (BoVW) based image representation model gained attention and significantly improved the efficiency and effectiveness of CBIR. In BoVW-based image representation model, an image is represented as an order-less histogram of visual words by ignoring the spatial attributes. In this paper, we present a novel image representation based on the weighted average of triangular histograms (WATH) of visual words. The proposed approach adds the image spatial contents to the inverted index of the BoVW model, reduces overfitting problem on larger sizes of the dictionary and semantic gap issues between high-level image semantic and low-level image features. The qualitative and quantitative analysis conducted on three image benchmarks demonstrates the effectiveness of the proposed approach based on WATH.     

基于图像分解的人脸特征表示

提出一种基于图像分解的人脸特征表示方法(FRID),首先通过多方向操作,把一幅图像分解成一系列方向子图像;然后,通过欧拉映射操作,把每幅方向子图像分解成实部和虚部图像,针对每幅实部和虚部图像,分别划分出多个不重叠的局部图像块,通过统计图像块上不同数值的个数生成相应的实部和虚部直方图,一幅图像的所有实部和虚部直方图被串联成一个超级特征向量;最后,利用线性判别分析方法对超级特征向量进行维数约简,以获得每幅图像的低维表示.实验显示该方法在多个人脸数据库上获得了优于时新算法的识别结果,并且表现得更为稳定.     

结合组稀疏效应和多核学习的图像标注

图像中存在的纹理、颜色和形状等异构视觉特征,在表示特定高层语义时所起作用的重要程度不同,为了在图像标注过程中更加有效地利用这些异构特征,提出了一种基于组稀疏(group sparsity)的多核学习方法(multiple kernel learning with group sparsity,简称MKLGS),为不同图像语义选择不同的组群特征.MKLGS先将包含多种异构特征的非线性图像数据映射到一个希尔伯特空间,然后利用希尔伯特空间中的核函数以及组LASSO(groupLASSO)对每个图像类别选择最具区别性特征的集合,最终训练得到分类模型对图像进行标注.通过与目前其他图像标注算法进行对比,实验结果表明,基于组稀疏的多核学习方法在图像标注中能取得很好的效果.     

Efficient region-aware large graph construction towards scalable multi-label propagation

With fast growing number of images on photo-sharing websites such as Flickr and Picasa, it is in urgent need to develop scalable multi-label propagation algorithms for image indexing, management and retrieval. It has been well acknowledged that analysis in semantic region level may greatly improve image annotation performance compared to that in the holistic image level. However, region level approach increases the data scale to several orders of magnitude and proposes new challenges to most existing algorithms. In this work, we present a novel framework to effectively compute pairwise image similarity by accumulating the information of semantic image regions. Firstly, each image is encoded as Bag-of-Regions based on multiple image segmentations. Secondly, all image regions are separated into buckets with efficient locality-sensitive hashing (LSH) method, which guarantees high collision probabilities for similar regions. The k-nearest neighbors of each image and the corresponding similarities can be efficiently approximated with these indexed patches. Lastly, the sparse and region-aware image similarity matrix is fed into the multi-label extension of the entropic graph regularized semi-supervised learning algorithm [1]. In combination they naturally yield the capability of handling large-scale dataset. Extensive experiments on NUS-WIDE (260k images) and COREL-5k datasets validate the effectiveness and efficiency of our proposed framework for region-aware and scalable multi-label propagation.     

基于连续预测的半监督学习图像语义标注

为了在图像底层特征与高层语义之间建立关系,提高图像自动标注的精确度,结合基于图学习的方法和基于分类的标注算法,提出了基于连续预测的半监督学习图像语义标注的方法,并对该方法的复杂度进行分析。该方法利用标签数据提供的信息和标签事例与无标签事例之间的关系,根据邻接点(事例)属于同一个类的事实,构建K邻近图。用一个基于图的分类器,通过核函数有效地计算邻接信息。在建立图的基础上,把经过划分后的样本节点集通过基于连续预测的多标签半监督学习方法进行标签传递。实验表明,提出的算法在图像标注中的标注词的平均查准率、平均查全率方面有显著的提高。     

采用金字塔纹理和边缘特征的图像烟雾检测

目的 与传统点式感烟器相比,图像烟雾检测具有响应速度快、非接触等显著优势,但烟雾形状、色彩、纹理千差万别,造成现有算法推广性能不好,亟需提高特征推广性能.为此提出了一种采用图像金字塔纹理和边缘多尺度特征的烟雾检测算法.方法 首先,该算法将图像进行金字塔分解,然后在每层图像上提取局部二元模式(LBP)和边缘方向直方图(EOH),采用不同池化方法得到金字塔局部二元模式(PLBP)和金字塔边缘方向直方图(PEOH)序列特征,分别用于表征烟雾纹理和边缘信息,首尾相连这些直方图后,采用支持向量机(SVM)进行训练、识别烟雾.结果 这金字塔纹理和边缘特征具有很好的分类性能,能够在比较大的图像库上达到94%以上的检测率和3.0%以下的误报率.结论 本文算法提取的纹理、边缘特征,对光照、尺度具有一定不变性,实验结果也表明本文特征对烟雾检测具有较好的推广性能.     

基于投影直方图匹配的双目视觉跟踪算法

为了在机器人机械手双目视觉伺服系统中跟踪并精确定位目标的空间位置,提出了一种利用投影直方图匹配和极线几何约束的目标跟踪方法。分别在2个视觉中人工标定目标,并提取目标在多颜色空间的水平、垂直投影直方图作为匹配模板;在一个视觉中利用目标的运动一致性原则和投影直方图匹配搜索并跟踪目标;在另一个视觉中依据双目视觉系统的极线几何原理限定目标搜索范围,搜索并定位目标。该方法利用水平、垂直投影直方图描述目标的结构信息,同时完成了双目视觉系统中的目标跟踪与配准功能,有利于目标的精确定位和视觉测量。实验结果表明,该方法可在双目视觉系统中有效跟踪目标,运算效率高,鲁棒性强。     

基于监督核哈希生成视觉词袋模型的图像分类

为了解决大规模数据集下传统视觉词袋模型生成时间长、内存消耗大且分类精度低等问题,提出了基于监督核哈希(Supervised Hashing with Kernels,KSH)的视觉词袋模型.首先,提取图像的SIFT特征点,构造特征点样本集.然后,学习KSH函数,将距离相近的特征点映射成相同的哈希码,每一个哈希码代表聚类中心,构成视觉词典.最后,利用生成的视觉词典,将图像表示为直方图向量,并应用于图像分类.在标准数据集上的实验结果表明,该模型生成的视觉词典具有较好的区分度,有效地提高了图像分类的精度和效率.