语义图像检索研究进展

语义图像检索已成为解决图像简单视觉特征和用户检索丰富语义之间存在的“语义鸿沟”问题的关键。从图像语义描述方式、图像语义抽取方法和语义检索系统设计3个方面对语义图像检索的研究状况进行了分析和研究;讨论了面向对象的图像内容模型和图像语义表示问题;对利用系统知识的提取、根据用户交互的提取和利用外部信息源的语义生成等具有代表性的语义处理方法进行了阐述;介绍了系统设计中用户界面和语义处理的不同方式,最后从对象识别、语义抽取规则、用户检索模型和图像检索性能评价标准4个方面剖析了实现图像语义处理所面临的困难,并提出了一些初步解决思路。     

基于语义的图象检索方法研究综述

对于当前基于内容的图象检索（CBIR）系统来说,在用户的信息需求和千丝万缕诉功能之间存在着重大的差距,要进一步提高现有图象检索系统的能力,需要对图象的内容进行语义描述,对图象的多层语义模型和图象语义的知识表示作了概括性介绍,重点讨论了一些将图象的低层视觉特征映射到图象高怯事义的方法,并指出了利用语义进行图象检索急需解决的一些问题。     

一种面向图象语义的主要区域提取方法

图象主要区域的提取是图象语义抽取及其应用的基础 .为了更好地进行图象语义的抽取 ,提出了一种面向图象语义的图象主要区域自动提取方法 .该方法首先将图象划分成固定大小的子块 ,并通过对子块特征进行聚类来获得图象的初始区域分割 ;而后 ,经过一系列的后处理来优化分割结果 ,并实现前景和背景区分 ;最后通过分析每个背景区域的重要程度 ,去除掉不相关的背景区域 .通过对包含有显著对象的户外图象进行的实验表明 :该方法不仅可以去除图象中 ,大量与图象语义不相关的内容 ,而且能保留图象的主要信息 ,这就为进一步的图象语义应用打好了基础 .     

图像语义的图形化标注和检索研究

基于图像语义进行检索的目的是希望能够更好地从用户的角度出发,查找出与用户理解相一致的图像。针对目前图像语义检索过程中存在的问题,提出一个基于对象的图像语义内容标注模型和检索框架。首先利用分割算法获取图像中的语义对象区域,然后以MPEG-7标准中的语义描述方案为基础,利用图形化结构实现图像语义内容的标注。在检索过程中,用户把查询内容转化为图形化描述结构,通过提取该描述图的不同长度的路径信息形成查询文档,与图像库中的图像语义标注文档进行匹配实现图像检索。实验结果表明,提出的方法能够有效地实现基于语义的图像标注和检索,与全文检索相比,有较高的查全率和查准率。     

基于GIS语义的遥感图像检索

语义图像检索为填补图像低层视觉特征和用户高层语义之间的鸿沟而产生,图像语义描述和提取是其关键。提出了一种基于G IS语义的遥感图像检索(G IS sem antics-based remote sensing im age retrieval,简称G ISSB IR)方法,主要涉及空间对象的语义表达和语义匹配两方面内容。利用面向对象G IS语义模型和概念语义网络共同表达空间对象的语义,设计了语义调解器处理用户与系统之间的语义不一致。通过对G IS原子查询结果进行布尔运算得到矢量查询结果,在此基础上得到与G IS数据具有统一坐标框架的遥感图像检索结果。实验结果表明G ISSB IR方法是有效的。     

基于图象对象语义模型的图象对象的创建

在按内容检索的图象数据库系统中，图象特征的提取是系统的关键组件之一．文中在图象对象语义模型的基础上，提出了一种通过任务图调度的图象分析策略，并给出了一组相应的算法来进行图象分析．这种方法可以较好地运用计算机视觉的已有成果，并能在不同的应用中，支持图象分析算法的更新和重用．     

按内容检索的图象数据库系统数据模型

数据模型的研究是设计按内容检索的图象数据库系统的基础.本文在超语义数据模型的基础上，提出了一种新的图象数据库系统模型.该模型融合了面向对象的数据模型、语义数据模型和知识模型的特点，并根据图象信息的特点，增加了若干对象类型构造子，使得该模型能较好地支持按内容检索的图象数据库系统建模.     

基于内容的交互式感性图象检索

随着信息化社会的到来及信息高速公路计划的实施,人们越来越多地接触到大量的图象信息,因此基于内容的图象检索已经成为当前的一个热门研究课题,并在多媒体数据库、电子图书馆、商标管理、医疗图象管理、公安系统、卫星图象管理等方面得到广泛应用。然而,大多数基于内容的图象检索系统主要是通过图象多维物理特征的相似性匹配来进行查询,而对于用户的爱好、情感等主观或感性化的因素则考虑较少。为了弥补这方面的不足,提出了一种基于内容的交互式感性图象检索方法。该方法采用交互式进化算法,并通过人机交互的方式,来将用户的直觉、情感等感性化的因素融入到进化过程,以便进行图象的交互式在线检索;针对在检索过程中,因进化的时间可能较长和因需要用户确定的适应度值较多而产生的用户疲劳问题,采用神经网络离线学习的方法来减轻用户疲劳,从而实现了根据用户的情感和基于图象内容的图象检索,并取得了较好的实验结果。     

一种新的彩色图象文字提取算法

文字信息在描述图象内容时起着重要的作用,因此文字提取及识别是基于内容视频检索的关键技术。提出了一个从彩色图象背景中提取文字的快速而有效的算法。由于文本字符串的对比度较高,首先用一个改进的sobel算子将彩色图象变换为二值的边缘图象,再对该边缘图象进行涂抹处理,然后基于候选文本区的特征从不同复杂度的彩色图象中提取文本信息,最后将提取出的文本输入到文字识别(OCR)引擎,识别结果证明了此方法的有效性。     

基于小波模糊聚类的均质纹理和非均质纹理图象检索

基于内容的图象检索是近年来的研究热点 ,为此提出了一种自动区分均质纹理和非均质纹理图象 ,并对这两类图象分别进行检索的算法 .算法首先从图象离散小波变换的低频子带提取一定的颜色和纹理特征用于模糊聚类 ,将图象的低频子带分割为一定的区域 ;然后根据分割的结果将图象自动语义分类为均质纹理或者非均质纹理图象 ;最后对均质纹理和非均质纹理图象分别提取不同的特征矢量 ,并按照一定的相似度准则检索图象 .实验结果表明 ,该算法具有良好的均质纹理和非均质纹理图象分类和检索性能 .     

图像检索中语义映射方法综述

"语义鸿沟"已成为基于内容图像检索的瓶颈,解决这个问题需要建立从图像的低层特征到高层语义的映射.对当前语义映射研究进行了综述,首先给出一个结合语义的图像检索框架,并分析了图像内容的层次模型及图像语义的表示方法;然后根据算法的特点,将现有的语义映射方法和技术分为4大类,重点阐述了各类方法提出的思路、模型.并讨论各自的优势和局限性;最后以图像检索实际应用的需要为依据,提出在图像语义检索相关领域的重要课题和研究方向.     

A survey of content-based image retrieval with high-level semantics

In order to improve the retrieval accuracy of content-based image retrieval systems, research focus has been shifted from designing sophisticated low-level feature extraction algorithms to reducing the ‘semantic gap’ between the visual features and the richness of human semantics. This paper attempts to provide a comprehensive survey of the recent technical achievements in high-level semantic-based image retrieval. Major recent publications are included in this survey covering different aspects of the research in this area, including low-level image feature extraction, similarity measurement, and deriving high-level semantic features. We identify five major categories of the state-of-the-art techniques in narrowing down the ‘semantic gap’: (1) using object ontology to define high-level concepts; (2) using machine learning methods to associate low-level features with query concepts; (3) using relevance feedback to learn users’ intention; (4) generating semantic template to support high-level image retrieval; (5) fusing the evidences from HTML text and the visual content of images for WWW image retrieval. In addition, some other related issues such as image test bed and retrieval performance evaluation are also discussed. Finally, based on existing technology and the demand from real-world applications, a few promising future research directions are suggested.     

一种基于视觉单词的图像检索方法

基于内容的图像检索技术最主要的问题是图像的低层特征和高层语义之间存在着"语义鸿沟"。受文本内容分析的启发,有研究学者借鉴传统词典中用文本单词组合解释术语的思路,将图像视为视觉单词的组合,利用一系列视觉单词的组合来描述图像的语义内容。为此,利用SIFT进行图像的视觉单词特征提取,然后构建视觉单词库,最后实现了一个基于视觉单词的图像检索系统。实验结果表明,该方法在一定程度上提高了图像检索的查准率。     

集成视觉特征和语义信息的相关反馈方法

为了有效地利用图像检索系统的语义分类信息和视觉特征,提出一种基于Bayes的集成视觉特征和语义信息的相关反馈检索方法.首先,将图像库的数据经语义监督的视觉特征聚类算法划分为小的聚类,每个聚类内数据的视觉特征相似并且语义类别相同;然后以聚类为单位标注正负反馈的实例,这显著区别于以单个图像为单位的相关反馈过程;最后分别以基于视觉特征的Bayes分类器和基于语义的Bayes分类器修正相似距离.在图像库上的实验表明,只用较少的反馈次数就可以达到较高的检索准确率.     

A survey on socio-semantic information retrieval

The rise of the Social Web and advances in the Semantic Web provides unprecedented possibilities for the development of novel methods to enhance the information retrieval (IR) process by including varying degrees of semantics. We shed light on the corresponding notion of semantically-enhanced information retrieval by presenting state-of-the art techniques in related research areas. We describe techniques based on the main processes of a typical IR workflow and map them onto three main types of semantics, which vary from formal semantic knowledge representations and content-based semantics to social semantics emerging through usage and user interactions.     

基于内容的图像检索系统研究

对基于内容的图像检索系统进行了详细的分析研究，重点对颜色、纹理和形状等图像可视特征的提取和表示进行了研究，并简要介绍了基于内容的图像检索中图像语义的处理和应用，最后提出了CBIR系统及其相关技术的发展趋势和研究重点。     

Wildlife video key-frame extraction based on novelty detection in semantic context

There is a growing evidence that visual saliency can be better modeled using top-down mechanisms that incorporate object semantics. This suggests a new direction for image and video analysis, where semantics extraction can be effectively utilized to improve video summarization, indexing and retrieval. This paper presents a framework that models semantic contexts for key-frame extraction. Semantic context of video frames is extracted and its sequential changes are monitored so that significant novelties are located using a one-class classifier. Working with wildlife video frames, the framework undergoes image segmentation, feature extraction and matching of image blocks, and then a co-occurrence matrix of semantic labels is constructed to represent the semantic context within the scene. Experiments show that our approach using high-level semantic modeling achieves better key-frame extraction as compared with its counterparts using low-level features.