基于显著性语义区域加权的图像检索算法

针对计算视觉领域图像实例检索的问题，提出了一种基于深度卷积特征显著性引导的语义区域加权聚合方法。首先提取深度卷积网络全卷积层后的张量作为深度特征，并利用逆文档频率（IDF）方法加权深度特征得到特征显著图；然后将其作为约束，引导深度特征通道重要性排序以提取不同特殊语义区域深度特征，排除背景和噪声信息的干扰；最后使用全局平均池化进行特征聚合，并利用主成分分析（PCA）降维白化得到图像的全局特征表示，以进行距离度量检索。实验结果表明，所提算法提取的图像特征向量语义信息更丰富、辨识力更强，在四个标准的数据库上与当前主流算法相比准确率更高，鲁棒性更好。     

基于视觉语义主题的图像自动标注

为减小图像检索中语义鸿沟的影响,提出了一种基于视觉语义主题的图像自动标注方法.首先,提取图像前景与背景区域,并分别进行预处理;然后,基于概率潜在语义分析与高斯混合模型建立图像底层特征、视觉语义主题与标注关键词间的联系,并基于该模型实现对图像的自动标注.采用corel 5数据库进行验证,实验结果证明了本文方法的有效性.     

一种结合语义特征和视觉特征的图像检索方法

为了解决传统的CBIR系统中存在的"语义鸿沟"问题,提出一种结合语义特征和视觉特征的图像检索方法.将图像的语义特征和视觉特征数据结合到同一个索引向量中,进行基于内容的图像检索.系统使用潜在语义索引(LSI)技术提取图像的语义特征,提取颜色直方图作为图像的视觉特征.通过将图像底层视觉特征与图像在向量空间中的语义统计特征相...     

一种基于目标区域的图像检索方法

为了弥补全局特征在描述图像内容上的不足,论文描述了一种基于目标区域的图像检索方法:从用户指定的区域中分割并提取出所包含的目标,然后利用目标区域的视觉特征进行图像检索。在图像检索时,提取目标区域对应的子图像特征代替全局图像特征进行图像相似性匹配。实验结果表明,基于目标区域的图像检索效果比基于全局图像特征的检索效果有较好的改善。     

一种基于SVMS的语义图像分类方法*

如何跨越图像低层视觉特征到高层语义特征的"语义鸿沟"已成为语义图像检索问题的分类图像分成五个区域;然后在提取图像底层特征的基础上,采用基于支持向量机组(SVMS)的方法建立图像低层视觉特征到高层语义特征之间的映射,将一幅图像同时归入一类或几类图像语义.实验结果表明,该方法具有较好的检索查全率和准确率.     

基于多语义特征的彩色图像检索技术研究

基于语义内容的图像检索已成为解决图像低层特征与人类高级语义之间"语义鸿沟"的关键.以性能优越的回归型支持向量机(SVR)理论为基础,结合重要的图像边缘信息及人眼视觉特性,提出了一种基于多语义特征的彩色图像检索新算法.该算法首先利用Canny检测算子提取原始图像的边缘信息,并得到低层纹理特征,同时利用SVR将低层特征映射到高级语义,以获得图像的高级纹理语义.然后结合人眼视觉系统感知特性,给出基于重要区域主要颜色的高级颜色语义.最后根据上述高级语义特征(纹理语义和颜色语义)进行图像检索.实验结果表明,该算法能够有效地对图像高级语义进行刻画,不仅图像匹配检索效果良好,而且具有稳定的检索性能,其对于缩小低层视觉特征与高级语义概念之间的"语义鸿沟"具有重要意义.     

图像主题区域提取及其在图像检索中的应用

图像主题区域是表达图像主要语义内容的部分.根据图像不同区域的视觉显著性差异特点,利用改进的视觉注意模型,提取图像的主题区域,并划分为不同语义类别.提出基于主题区域的图像检索方法,该方法能按照图像主题区域所属的语义类别,在图像之间有针对性地选择同类别主题区域进行区域相似性比较.实验结果表明,此方法可以更有效地表达图像的主要语义内容,提高图像检索的效率和准确性.     

基于模糊神经网络的语义映射方法及其在自然图像检索中的应用

在CBIR研究中,图像低层视觉特征和高层语义特征之间存在的“语义鸿沟”成为语义图像检索的关键问题。为了避免一般映射方法把一幅图像归于一类语义图像的现象,体现自然风景图像中包含的丰富的高层语义信息和多归属类型,提出了对自然风景彩色图像中颜色较单一的目标区域,重复采用最优阈值化进行一次粗分割来提取最大目标区域,在分割区域的基础上,提取图像的局部颜色和形状特征,最后利用改进的模糊神经网络来建立低层视觉特征和高层语义特征之间的映射,实现了图像属性信息的有效传递和高层语义的自动获取。实验结果表明,该图像分割方法对自然彩色图像能够有效地提取目标物体,并对噪声图像具有一定的鲁棒性,而语义图像的部分类别的检索准确率接近90%,查全率也达到了75%,实验结果证明了该方法对自然图像检索的有效性及先进性。     

一种图像局部特征的语义提取方法

本文提出了一种基于期望最大化(EM)算法的局部图像特征的语义提取方法。首先提取图像的局部图像特征,统计特征在视觉词汇本中的出现频率,将图像表示成词袋模型;引入文本分析中的潜在语义分析技术建立从低层图像特征到高层图像语义之间的映射模型;然后利用EM算法拟合概率模型,得到图像局部特征的潜在语义概率分布;最后利用该模型提取出的图像在潜在语义上的分布来进行图像分析和理解。与其他基于语义的图像理解方法相比,本文方法不需要手工标注,以无监督的方式直接从图像低层特征中发掘图像的局部潜在语义,既求得了局部语义信息,又获得了局部语义的空间分布特性,因而能更好地对场景建模。为验证本文算法获取语义的有效性,在15类场景图像上进行了实验,实验结果表明,该方法取得了良好的分类准确率。     

基于SURF特征贡献度矩阵的图像ROI选取与检索方法

传统的基于全局特征的图像检索方法中需要对整幅图像特征提取,计算复杂度大,且容易导致语义歧义.针对这一问题,提出一种基于SURF特征贡献度矩阵的ROI选取和图像检索方法.首先采用SURF算子提取图像局部特征,然后依据特征点的Hessian矩阵计算其贡献度矩阵,并将其应用到ROI检测中;在此基础上,融合并归一化ROI的颜色、纹理以及形状等底层特征,利用非线性高斯距离函数进行相似度匹配,实现图像检索.实验结果表明,与已有算法相比,该算法提取的ROI与人类视觉意图一致性高,检索效果较好.     

明显区域块和空间分布特征的图像检索

基于小波变换理论提出了一种明显区域块检测方法,改进了环型分割算法,使对视觉有意义的区域特征提取更加快捷、方便。该算法不仅考虑到区域内的图像特征,而且还考虑到明显区域块的空间分布信息,把环型区域的颜色矩和在明显区域块附近的Gabor特点,作为索引图像的特征向量。使用Corel图像库测试了提出的方法。实验表明,该方法切实可行。     

三角形约束下的词袋模型图像分类方法

视觉词袋模型广泛地应用于图像分类与图像检索等领域.在传统词袋模型中,视觉单词统计方法忽略了视觉词之间的空间信息以及分类对象形状信息,导致图像特征表示区分能力不足.本文提出了一种改进的视觉词袋方法,结合显著区域提取和视觉单词拓扑结构,不仅能够产生更具代表性的视觉单词,而且能够在一定程度上避免复杂背景信息和位置变化带来的干扰.首先,通过对训练图像进行显著区域提取,在得到的显著区域上构建视觉词袋模型.其次,为了更精确的描述图像的特征,抵抗多变的位置和背景信息的影响,该方法采用视觉单词拓扑结构策略和三角剖分方法,融入全局信息和局部信息.通过仿真实验,并与传统的词袋模型及其他模型进行比较,结果表明本文提出的方法获得了更高的分类准确率.     

Evaluation of wavelet-based salient point detectors for image retrieval

Content-based image retrieval system based on global visual content features normally return the retrieval results according to the similarity between features extracted from the sample query image and candidate images. However, global features usually cannot capture different characteristics of different parts in the image. Therefore, the representation of local image properties is one of the most active research issues in content-based image retrieval. The method based on salient point detection is one of the typical and effective approaches. This paper proposes three improved salient point detectors based on wavelet transform, which are calculated in the three different orientations’ and scales’ subbands and weighted equally. In contrast to the former method based on salient point detection, the improved salient point detectors aim to extract the visual information in the image more effectively. We have tested the proposed schemes and compared four salient point detectors using a wide range of image samples from the Corel Image Library, and experimental results show that the improved salient point detectors have produced promising results.     

A soft image representation approach by exploiting local neighborhood structure of self-organizing map (SOM)

When images are described with visual words based on vector quantization of low-level color, texture, and edge-related visual features of image regions, it is usually referred as “bag-of-visual words (BoVW)”-based presentation. Although it has proved to be effective for image representation similar to document representation in text retrieval, the hard image encoding approach based on one-to-one mapping of regions to visual words is not expressive enough to characterize the image contents with higher level semantics and prone to quantization error. Each word is considered independent of all the words in this model. However, it is found that the words are related and their similarity of occurrence in documents can reflect the underlying semantic relations between them. To consider this, a soft image representation scheme is proposed by spreading each region’s membership values through a local fuzzy membership function in a neighborhood to all the words in a codebook generated by self-organizing map (SOM). The topology preserving property of the SOM map is exploited to generate a local membership function. A systematic evaluation of retrieval results of the proposed soft representation on two different image (natural photographic and medical) collections has shown significant improvement in precision at different recall levels when compared to different low-level and “BoVW”-based feature that consider only probability of occurrence (or presence/absence) of a word.     

Specific object retrieval based on salient regions

In this paper, we present an image retrieval technique for specific objects based on salient regions. The salient regions we select are invariant to geometric and photometric variations. Those salient regions are detected based on low level features, and need to be classified into different types before they can be applied on further vision tasks. We first classify the selected regions into four types including blobs, edges and lines, textures, and texture boundaries, by using the correlations with the neigbouring regions. Then, some specific region types are chosen for further object retrieval applications. We observe that regions selected from images of the same object are more similar to each other than regions selected from images of different objects. Correlation is used as the similarity measure between regions selected from different images. Two images are considered to contain the same object, if some regions selected from the first image are highly correlated to some regions selected from the second image. Two data sets are employed for experiment: the first data set contains human face images of a number of different people and is used for testing the retrieval algorithm on distinguishing specific objects of the same category; and the second data set contains images of different objects and is used for testing the retrieval algorithm on distinguishing objects of different categories. The results show that our method is very effective on specific object retrieval.     

一种面向图象语义的主要区域提取方法

图象主要区域的提取是图象语义抽取及其应用的基础 .为了更好地进行图象语义的抽取 ,提出了一种面向图象语义的图象主要区域自动提取方法 .该方法首先将图象划分成固定大小的子块 ,并通过对子块特征进行聚类来获得图象的初始区域分割 ;而后 ,经过一系列的后处理来优化分割结果 ,并实现前景和背景区分 ;最后通过分析每个背景区域的重要程度 ,去除掉不相关的背景区域 .通过对包含有显著对象的户外图象进行的实验表明 :该方法不仅可以去除图象中 ,大量与图象语义不相关的内容 ,而且能保留图象的主要信息 ,这就为进一步的图象语义应用打好了基础 .     

一种基于视觉单词的图像检索方法

基于内容的图像检索技术最主要的问题是图像的低层特征和高层语义之间存在着"语义鸿沟"。受文本内容分析的启发,有研究学者借鉴传统词典中用文本单词组合解释术语的思路,将图像视为视觉单词的组合,利用一系列视觉单词的组合来描述图像的语义内容。为此,利用SIFT进行图像的视觉单词特征提取,然后构建视觉单词库,最后实现了一个基于视觉单词的图像检索系统。实验结果表明,该方法在一定程度上提高了图像检索的查准率。     

融合目标增强与稀疏重构的显著性检测

目的 为了解决图像显著性检测中存在的边界模糊,检测准确度不够的问题,提出一种基于目标增强引导和稀疏重构的显著检测算法（OESR）。方法 基于超像素,首先从前景角度计算超像素的中心加权颜色空间分布图,作为前景显著图;由图像边界的超像素构建背景模板并对模板进行预处理,以优化后的背景模板作为稀疏表示的字典,计算稀疏重构误差,并利用误差传播方式进行重构误差的校正,得到背景差异图;最后,利用快速目标检测方法获取一定数量的建议窗口,由窗口的对象性得分计算目标增强系数,以此来引导两种显著图的融合,得到最终显著检测结果。结果 实验在公开数据集上与其他12种流行算法进行比较,所提算法对具有不同背景复杂度的图像能够较准确的检测出显著区域,对显著对象的提取也较为完整,并且在评价指标检测上与其他算法相比,在MSRA10k数据集上平均召回率提高4.1%,在VOC2007数据集上,平均召回率和F检验分别提高18.5%和3.1%。结论 本文提出一种新的显著检测方法,分别利用颜色分布与对比度方法构建显著图,并且在显著图融合时采用一种目标增强系数,提高了显著图的准确性。实验结果表明,本文算法能够检测出更符合视觉特性的显著区域,显著区域更加准确,适用于自然图像的显著性目标检测、目标分割或基于显著性分析的图像标注。     

Cross-Modal Saliency Correlation for Image Annotation

Automatic image annotation is an attractive service for users and administrators of online photo sharing websites. In this paper, we propose an image annotation approach exploiting the crossmodal saliency correlation including visual and textual saliency. For textual saliency, a concept graph is firstly established based on the association between the labels. Then semantic communities and latent textual saliency are detected; For visual saliency, we adopt a dual-layer BoW (DL-BoW) model integrated with the local features and salient regions of the image. Experiments on MIRFlickr and IAPR TC-12 datasets demonstrate that the proposed method outperforms other state-of-the-art approaches.