A survey of content-based image retrieval with high-level semantics

In order to improve the retrieval accuracy of content-based image retrieval systems, research focus has been shifted from designing sophisticated low-level feature extraction algorithms to reducing the ‘semantic gap’ between the visual features and the richness of human semantics. This paper attempts to provide a comprehensive survey of the recent technical achievements in high-level semantic-based image retrieval. Major recent publications are included in this survey covering different aspects of the research in this area, including low-level image feature extraction, similarity measurement, and deriving high-level semantic features. We identify five major categories of the state-of-the-art techniques in narrowing down the ‘semantic gap’: (1) using object ontology to define high-level concepts; (2) using machine learning methods to associate low-level features with query concepts; (3) using relevance feedback to learn users’ intention; (4) generating semantic template to support high-level image retrieval; (5) fusing the evidences from HTML text and the visual content of images for WWW image retrieval. In addition, some other related issues such as image test bed and retrieval performance evaluation are also discussed. Finally, based on existing technology and the demand from real-world applications, a few promising future research directions are suggested.     

Complementary relevance feedback-based content-based image retrieval

We propose a complementary relevance feedback-based content-based image retrieval (CBIR) system. This system exploits the synergism between short-term and long-term learning techniques to improve the retrieval performance. Specifically, we construct an adaptive semantic repository in long-term learning to store retrieval patterns of historical query sessions. We then extract high-level semantic features from the semantic repository and seamlessly integrate low-level visual features and high-level semantic features in short-term learning to effectively represent the query in a single retrieval session. The high-level semantic features are dynamically updated based on users’ query concept and therefore represent the image’s semantic concept more accurately. Our extensive experimental results demonstrate that the proposed system outperforms its seven state-of-the-art peer systems in terms of retrieval precision and storage space on a large scale imagery database.     

基于深度语义模型的乳腺X线图像检索

图像特征是基于内容的图像检索（Content-based image retrieval,CBIR）的关键,大部分使用的手工特征难以有效地表示乳腺肿块的特征,底层特征与高层语义之间存在语义鸿沟。为了提高CBIR的检索性能,本文采用深度学习来提取图像的高层语义特征。由于乳腺X线图像的深度卷积特征在空间和特征维度上存在一定的冗余和噪声,本文在词汇树和倒排文件的基础上,对深度特征的空间和语义进行优化,构建了两种不同的深度语义树。为了充分发挥深度卷积特征的识别能力,根据乳腺图像深度特征的局部特性对树节点的权重进行细化,提出了两种节点加权方法,得到了更好的检索结果。本文从乳腺X线图像数据库（Digital database for screening mammography, DDSM）中提取了2 200个感兴趣区域（Region of interest,ROIs）作为数据集,实验结果表明,该方法能够有效提高感兴趣肿块区域的检索精度和分类准确率,并且具有良好的可扩展性。     

基于深度学习的图像检索系统

基于内容的图像检索系统关键的技术是有效图像特征的获取和相似度匹配策略.在过去,基于内容的图像检索系统主要使用低级的可视化特征,无法得到满意的检索结果,所以尽管在基于内容的图像检索上花费了很大的努力,但是基于内容的图像检索依旧是计算机视觉领域中的一个挑战.在基于内容的图像检索系统中,存在的最大的问题是“语义鸿沟”,即机器从低级的可视化特征得到的相似性和人从高级的语义特征得到的相似性之间的不同.传统的基于内容的图像检索系统,只是在低级的可视化特征上学习图像的特征,无法有效的解决“语义鸿沟”.近些年,深度学习技术的快速发展给我们提供了希望.深度学习源于人工神经网络的研究,深度学习通过组合低级的特征形成更加抽象的高层表示属性类别或者特征,以发现数据的分布规律,这是其他算法无法实现的.受深度学习在计算机视觉、语音识别、自然语言处理、图像与视频分析、多媒体等诸多领域取得巨大成功的启发,本文将深度学习技术用于基于内容的图像检索,以解决基于内容的图像检索系统中的“语义鸿沟”问题.     

基于SVM的图像低层特征与高层语义的关联

在基于内容的图像检索中，针对图像的低层可视特征与高层语义特征之间的鸿沟，提出了一种基于支持向量机（SVM）的语义关联方法。通过对图像低层特征的分析，提取了颜色和形状特征向量（221维），将它们作为支持向量机的输入向量，对图像类进行学习，建立图像低层特征与高层语义的关联，并应用于鸟类、花卉、海洋以及建筑物等几个典型的语义类别检索。实验结果表明，该方法可适应于不同用户的图像检索，并提高了检索性能。     

Collaborative image retrieval via regularized metric learning

In content-based image retrieval (CBIR), relevant images are identified based on their similarities to query images. Most CBIR algorithms are hindered by the semantic gap between the low-level image features used for computing image similarity and the high-level semantic concepts conveyed in images. One way to reduce the semantic gap is to utilize the log data of users' feedback that has been collected by CBIR systems in history, which is also called “collaborative image retrieval.” In this paper, we present a novel metric learning approach, named “regularized metric learning,” for collaborative image retrieval, which learns a distance metric by exploring the correlation between low-level image features and the log data of users' relevance judgments. Compared to the previous research, a regularization mechanism is used in our algorithm to effectively prevent overfitting. Meanwhile, we formulate the proposed learning algorithm into a semidefinite programming problem, which can be solved very efficiently by existing software packages and is scalable to the size of log data. An extensive set of experiments has been conducted to show that the new algorithm can substantially improve the retrieval accuracy of a baseline CBIR system using Euclidean distance metric, even with a modest amount of log data. The experiment also indicates that the new algorithm is more effective and more efficient than two alternative algorithms, which exploit log data for image retrieval.     

一个智能化的图像检索系统IIRS

本文深入研究了支持语义查询的大型图像数据库检索技术，提出了一种新的基于内容的图像检索系统：IIRS(Intelligent Irnage Retrieval System)。该系统支持多种特征的组合查询，引入了反馈机制及语义查询，具有自动学习及再学习的能力。实验结果表明，引入相关反馈及语义查询，可大大提高检索性能，     

Relevance Feedback and Learning in Content-Based Image Search

A major bottleneck in content-based image retrieval (CBIR) systems or search engines is the large gap between low-level image features used to index images and high-level semantic contents of images. One solution to this bottleneck is to apply relevance feedback to refine the query or similarity measures in image search process. In this paper, we first address the key issues involved in relevance feedback of CBIR systems and present a brief overview of a set of commonly used relevance feedback algorithms. Almost all of the previously proposed methods fall well into such framework. We present a framework of relevance feedback and semantic learning in CBIR. In this framework, low-level features and keyword annotations are integrated in image retrieval and in feedback processes to improve the retrieval performance. We have also extended framework to a content-based web image search engine in which hosting web pages are used to collect relevant annotations for images and users' feedback logs are used to refine annotations. A prototype system has developed to evaluate our proposed schemes, and our experimental results indicated that our approach outperforms traditional CBIR system and relevance feedback approaches.     

基于语义模型的企业数据检索*

为了支持企业在决策时从企业数据中通过检索获得有意义的数据,提出了基于语义模型的语义检索方法。该方法首先基于概念树描述语义模型,通过概念映射将数据源与语义模型进行语义关联。在此基础上,建立语义模型和支持描述逻辑推理的知识模型之间的映射,通过调用描述逻辑推理机完成语义检索,检索结果再通过语义模型映射对应数据源信息,最终返回语义一致益于决策的数据视图。     

基于语义学习的图像多模态检索

针对语义鸿沟问题,在语义学习的基础上设计图像的多模态检索系统。该系统结合3种查询方式进行图像检索。基于视觉特征的查询通过特征提取与相似度匹配进行排位。基于标签的查询建立在图像自动标注的基础上,但在语义空间之外的泛化能力较差。基于语义图例的查询能够在很大程度上克服这个缺陷,通过在显式或隐式的语义空间上进行查询,使检索结果更符合人类感知。实验结果表明,与基于纹理特征的图像检索相比,基于语义图例的检索具有更高的精度及召回率。     

一个基于语义的图像检索系统:VisEngine

介绍了一个基于语义的图像检索系统——VisEngine，该系统采用基于图像主要区域的图像分割方法，分别提取图像前景、背景和全局的视觉和抽象语义内容，构造相应的语义模板。接着把这些特征导入到一个面向对象的中间信息结构中，在此基础上进行多种方式的相似性匹配和检索。系统支持多种查询方式，用户交互界面自然友好。实验表明，VisEngine系统能有效地提高首次用户查询的正确性。     

增量学习语义属性的图像内容检索系统增强

大规模图像内容检索是实现图像语义信息获取的重要手段, 其首要需解决图像低层特征与用户高层语义间的语义鸿沟问题。针对该问题, 引入图像语义属性, 并结合增量分类学习方法(online core vector machine, OCVM), 提出了一种增量构建大规模图像内容检索系统的新方法。该方法借助检索反馈学习机制可以提升图像语义属性的辨别准确性, 能在扩张图像库规模的同时, 提升图像内容检索的可靠性。实验结果表明了上述方法的有效性, 其检索性能可逐步地达到离线构建方法的最佳性能, 但具有更好的可扩展性和自提升能力。     

基于领域本体的语义查询扩展

在信息检索研究领域,资源与查询词的匹配决定信息检索质量。现有检索方法的检索结果存在过多不相关信息,不能很好满足用户需求。针对传统信息检索存在的问题与当前语义查询扩展方法的特点,本文在分析各种语义查询扩展方法及其相关研究的基础上,提出一种改进的基于领域本体的语义查询扩展方法。该方法论通过本体模型和概念相似度的计算对检索信息进行检索意图树的构建并扩展;然后在资源本体中以最短路径的方式搜索资源。实验结果表明,本文方法相较其他查询扩展方法能得到更好的检索结果。     

基于显著性语义区域加权的图像检索算法

针对计算视觉领域图像实例检索的问题，提出了一种基于深度卷积特征显著性引导的语义区域加权聚合方法。首先提取深度卷积网络全卷积层后的张量作为深度特征，并利用逆文档频率（IDF）方法加权深度特征得到特征显著图；然后将其作为约束，引导深度特征通道重要性排序以提取不同特殊语义区域深度特征，排除背景和噪声信息的干扰；最后使用全局平均池化进行特征聚合，并利用主成分分析（PCA）降维白化得到图像的全局特征表示，以进行距离度量检索。实验结果表明，所提算法提取的图像特征向量语义信息更丰富、辨识力更强，在四个标准的数据库上与当前主流算法相比准确率更高，鲁棒性更好。     

一种基于稀疏典型性相关分析的图像检索方法

图像语义检索的一个关键问题就是要找到图像底层特征与语义之间的关联,由于文本是表达语义的一种有效手段,因此提出通过研究文本与图像两种模态之间关系来构建反映两者间潜在语义关联的有效模型的思路,基于该模型,可使用自然语言形式(文本语句)来表达检索意图,最终检索到相关图像.该模型基于稀疏典型性相关分析(sparse canonical correlation analysis,简称sparse CCA),按照如下步骤训练得到:首先利用隐语义分析方法构造文本语义空间,然后以视觉词袋(bag of visual words)来表达文本所对应的图像,最后通过Sparse CCA算法找到一个语义相关空间,以实现文本语义与图像视觉单词间的映射.使用稀疏的相关性分析方法可以提高模型可解释性和保证检索结果稳定性.实验结果验证了Sparse CCA方法的有效性,同时也证实了所提出的图像语义检索方法的可行性.     

图像语义分类的树结构SVM方法

为了减小低层视觉特征和高层语义之间存在的"语义鸿沟",提出一种采用树结构支持向量机实现图像底层视觉特征到高层语义的映射方法。利用二叉树结构构建支持向量机(SVM),在SVM核函数空间利用距离作为树节点处的分类度量。二叉树的结构可以大大减小语义分类的时间,而将距离较大的语义类先分离开保证了语义分类具有较高的准确率。实验证明,该方法在保证准确率的同时可以在较大程度上缩短分类检索时间。     

一种新型图像检索语义网络构建方法

自学习语义网络是目前实现图像高级语义的有效方法。针对现有方法存在的不足,提出了一种用于图像检索的新型语义网络构建方法,此方法将低层特征、相关反馈和语义网络这三项技术结合来支持图像检索。实验证明该方法可以对系统的检索效率有一定的提高。     

融合LDA和多类SVM的图像语义映射研究

建立图像低层特征到高层语义的映射是图像语义检索的关键问题之一,SVM是其中行之有效的方法。为了便于规则生成,将模糊C均值聚类SVM多类分类方法应用于图像语义映射。但由于异类图像特征常常混杂,最终形成的二叉树分支一般很多,映射准确率下降明显。为此,将线性判别分析法引入二叉树建树过程中,通过聚类之前先对特征优化处理来改进算法性能。实验结果表明该方法建立起了更便于理解的分类树结构且LDA的引入使得映射准确率有所提高,满足了图像语义映射的要求。