基于语义信息的图像理解关键问题研究

为了缩短介于低层视觉特征与高层语义特征之间的“语义鸿沟”距离,提出了急需解决的两大关键问题。首先按语义抽象程度给出了一种图像语义层次模型,着重分析与比较了四种语义信息提取方法的特点和存在问题;然后介绍了几种典型的语义特征相似性度量方法,阐述了目前图像理解应用的研究现状;最后搭建了图像语义理解框架,讨论了智能图像语义理解的未来研究趋势。     

图像语义分析与理解综述

语义分析是图像理解中高层认知的重点和难点,存在图像文本之间的语义鸿沟和文本描述多义性两大关键问题。以图像本体的语义化为核心,在归纳图像语义特征及上下文表示的基础上,全面阐述生成法、判别法和句法描述法3种图像语义处理策略。总结语义词汇的客观基准和评价方法。最后指出图像语义理解的发展方向。     

图像语义自动标注及其粒度分析方法

缩小图像低层视觉特征与高层语义之间的鸿沟, 以提高图像语义自动标注的精度, 进而快速满足用户检索图像的需求,一直是图像语义自动标注研究的关键. 粒度分析方法是一种层次的、重要的数据分析方法, 为复杂问题的求解提供了新的思路. 图像理解与分析的粒度不同, 图像语义标注的精度则不同, 检索的效率及准确度也就不同. 本文对目前图像语义自动标注模型的方法进行综述和分析, 阐述了粒度分析方法的思想、模型及其在图像语义标注过程中的应用, 探索了以粒度分析为基础的图像语义自动标注方法并给出进一步的研究方向.     

图像检索中语义映射方法综述

"语义鸿沟"已成为基于内容图像检索的瓶颈,解决这个问题需要建立从图像的低层特征到高层语义的映射.对当前语义映射研究进行了综述,首先给出一个结合语义的图像检索框架,并分析了图像内容的层次模型及图像语义的表示方法;然后根据算法的特点,将现有的语义映射方法和技术分为4大类,重点阐述了各类方法提出的思路、模型.并讨论各自的优势和局限性;最后以图像检索实际应用的需要为依据,提出在图像语义检索相关领域的重要课题和研究方向.     

基于视觉语义主题的图像自动标注

为减小图像检索中语义鸿沟的影响,提出了一种基于视觉语义主题的图像自动标注方法.首先,提取图像前景与背景区域,并分别进行预处理;然后,基于概率潜在语义分析与高斯混合模型建立图像底层特征、视觉语义主题与标注关键词间的联系,并基于该模型实现对图像的自动标注.采用corel 5数据库进行验证,实验结果证明了本文方法的有效性.     

一种基于SVMS的语义图像分类方法*

如何跨越图像低层视觉特征到高层语义特征的"语义鸿沟"已成为语义图像检索问题的分类图像分成五个区域;然后在提取图像底层特征的基础上,采用基于支持向量机组(SVMS)的方法建立图像低层视觉特征到高层语义特征之间的映射,将一幅图像同时归入一类或几类图像语义.实验结果表明,该方法具有较好的检索查全率和准确率.     

图像情感语义规则抽取的研究

针对图像视觉特征和情感语义之间的语义鸿沟,以图像纹理为低层特征,通过使用BP神经网络完成了图像低层特征到情感语义的映射;并在精度保持不变的前提下,对训练好的网络模型进行剪枝,最后通过神经网络规则抽取算法将隐含在神经网络模型中的知识转化为易于理解的IF-THEN规则形式。实验验证了方法的有效性和规则的可理解性。     

基于分块权值的语义图像检索

图像低层视觉特征和高层语义间的“语义鸿沟”是图像检索的关键问题.为了进一步提高基于语义的图像检索系统工作效率,以分块权值和视觉词库为基础,结合图像低层特征和高层语义的相关性,提出了一种基于分块权值的语义图像模型,该模型用来反映图像的视觉特性,对图像的高层语义进行有效检测,从而提高语义图像的检索效率.实验结果表明,该方法提高了语义图像检索系统的查全率和查准率.     

一种基于区域特征关联的图像语义标注方法

图像语义的标注需要解决图像高层语义和底层特征间存在的语义鸿沟。采用基于图像分割、并结合图像区域特征抽取的方法,建立图像区域语义与底层特征间的关联,采用基于距离的分类算法,计算区域特征间的相似性,并对具有相同或相近特征的区域的语义采用关联关键字的方法进行区分,用关键字实现图像语义的自动标注。     

颜色语义特征描述提取及其在图像分类中的应用

为了弥补图像底层特征到高层语义之间的语义鸿沟,提出一种颜色语义特征的构建方法以建立新的语义映射来提高图像分类准确率。通过提取底层颜色特征,构建包含颜色概念的语义网络,建立了颜色语义特征三元组,利用机器学习分类算法进行图像分类。实验结果表明,利用文章提出的新方法构建的语义特征向量进行图像分类,不仅可以取得优秀的分类结果,同时对不同的分类算法具有鲁棒性。     

Relevance Feedback and Learning in Content-Based Image Search

A major bottleneck in content-based image retrieval (CBIR) systems or search engines is the large gap between low-level image features used to index images and high-level semantic contents of images. One solution to this bottleneck is to apply relevance feedback to refine the query or similarity measures in image search process. In this paper, we first address the key issues involved in relevance feedback of CBIR systems and present a brief overview of a set of commonly used relevance feedback algorithms. Almost all of the previously proposed methods fall well into such framework. We present a framework of relevance feedback and semantic learning in CBIR. In this framework, low-level features and keyword annotations are integrated in image retrieval and in feedback processes to improve the retrieval performance. We have also extended framework to a content-based web image search engine in which hosting web pages are used to collect relevant annotations for images and users' feedback logs are used to refine annotations. A prototype system has developed to evaluate our proposed schemes, and our experimental results indicated that our approach outperforms traditional CBIR system and relevance feedback approaches.     

图像检索中的动态相似性度量方法

为提高图像检索的效率,近年来相关反馈机制被引入到了基于内容的图像检索领域。该文提出了一种新的相关反馈方法－－动态相似性度量方法。该方法建立在目前被广泛采用的图像相拟性度量方法的基础上,结合了相关反馈图像检索系统的时序特性,通过捕获用户的交互信息,动态地修正图像的相似性度量公式,从而把用户模型嵌入到了图像检索系统,在某种程度上使图像检索结果与人的主观感知更加接近。实验结果表明该方法的性能明显优于其它图像检索系统所采用的方法。     

图像检索中基于粗集理论的特征加权方法

为了提高图像检索的效率，近年来相关反馈机制被引入到基于内容的图像检索领域，而在基于内容的图像检索系统中，多特征融合检索中的特征加权又是一个重要的问题。该文提出了一种新的基于特征加权的相关反馈方法，在粗集理论的基础上，结合用户标记的反馈图像建立决策表，通过决策规则的精度来对多个特征加权，使图像检索和人的感知更加接近。实验表明该方法是有效的，并较Rui的相关反馈方法在性能上有很大提高。     

基于贝叶斯分类器的图像检索相关反馈算法

由于图像底层特征及其本身所包含的上层语义信息的巨大差距,使得基于内容的图像检索很难取得令人满意的效果.作为一种有效的解决方案,在过去的几年中,相关反馈在该研究领域取得了一定的成功.提出了一种新的具有学习能力的反馈算法.该算法基于贝叶斯分类原理,运用不同的反馈策略分别处理正、负反馈,同时它具有学习能力,可以运用用户的反馈信息不断地修正检索参数,使系统的检索能力得到不断的提高.通过在大图片库上的检索实验 ,该算法产生的效果大大优于当前其他的反馈方法.     

Joint semantics and feature based image retrieval using relevance feedback

Relevance feedback is a powerful technique for image retrieval and has been an active research direction for the past few years. Various ad hoc parameter estimation techniques have been proposed for relevance feedback. In addition, methods that perform optimization on multilevel image content model have been formulated. However, these methods only perform relevance feedback on low-level image features and fail to address the images' semantic content. In this paper, we propose a relevance feedback framework to take advantage of the semantic contents of images in addition to low-level features. By forming a semantic network on top of the keyword association on the images, we are able to accurately deduce and utilize the images' semantic contents for retrieval purposes. We also propose a ranking measure that is suitable for our framework. The accuracy and effectiveness of our method is demonstrated with experimental results on real-world image collections.     

基于目标区域和相关反馈的图像检索

提出了一种基于目标区域和相关反馈的图像检索方法,首先采用改进的K均值无监督分割方法将图像分割成区域,然后提取每个区域的颜色、位置、形状特征进行相似度计算;最后采用基于支持向量机（SVM）的相关反馈算法提高检索精度。实验结果表明,方法具有良好的检索性能。     

图像检索中一种支持多例查询的新方法

基于内容的图像检索的关键问题之一是高层语义和低层图像特征之间的差异,相关反馈技术是缩短这个"语义鸿沟"的有效方法。本文提出了一种新的相关反馈算法,通过分析正例图像在特征空间中的散布来构造该类图像的投影空间,该空间对应于一个语义类在特征空间中分布密集的子空间,在投影空间中计算相似图像。同时根据每次反馈的信息不断修正投影空间来提高系统的检索性能。在Corel大图像库中的实验结果表明,该算法对多例图像查询有较好的检索效果。     

一种改进的粒子群算法和相关反馈的图像检索

由于图像的低层特征与高层语义之间存在着语义鸿沟,以及用户对图像理解的主观性和易变性,使得基于内 容的图像检索结果不能很好地满足用户的需求。为解决这个问题,将粒子群算法和相关反馈引入到图像检索过程中, 根据用户的反馈信息,引入二自适应调整和Beta自适应变异的粒子群算法动态调整图像的特征权重,从而提高图像 的检索精度,以更好地满足用户的需求。     

A unified log-based relevance feedback scheme for image retrieval

Relevance feedback has emerged as a powerful tool to boost the retrieval performance in content-based image retrieval (CBIR). In the past, most research efforts in this field have focused on designing effective algorithms for traditional relevance feedback. Given that a CBIR system can collect and store users' relevance feedback information in a history log, an image retrieval system should be able to take advantage of the log data of users' feedback to enhance its retrieval performance. In this paper, we propose a unified framework for log-based relevance feedback that integrates the log of feedback data into the traditional relevance feedback schemes to learn effectively the correlation between low-level image features and high-level concepts. Given the error-prone nature of log data, we present a novel learning technique, named soft label support vector machine, to tackle the noisy data problem. Extensive experiments are designed and conducted to evaluate the proposed algorithms based on the COREL image data set. The promising experimental results validate the effectiveness of our log-based relevance feedback scheme empirically.     

基于本体的图像检索

提出一种基于本体的图像检索方法,该方法首先采用改进的K均值无监督分割方法将图像分割成区域,然后提取每个区域的颜色、形状、位置、纹理等低层描述特征,应用这些特征定义一个简单的对象本体。为了提高图像检索的准确度,最后采用支持向量机（SVM）的相关反馈算法。实验结果表明,提出的方法不仅可以提高检索效率,而且对于缩小低层视觉特征和高层语义特征之间的“语义鸿沟”具有很大的意义。