基于内容的图象检索中的语义处理方法

基于内容的图象检索系统,其目标是最大限度地减小图象简单视觉特征与用户检索丰富语义之间的“语义鸿沟”,因此图象语义处理则成为基于内容的图象检索进一步发展的关键。为了使人们对基于内容的图象检索中的语义处理方法有个概略了解,首先从图象语义模型和图象语义提取方法这两个方面对利用语义进行图象检索的研究状况进行了总结,并将图象语义模型概括为图象语义知识、图象语义层次模型和语义抽取模型等3个主要组成部分;然后将图象语义提取方法分为用户交互、将查询请求作为语义模板、对象及其空间关系、场景和行为语义及情感语义等类别,同时对其中有代表性的方法进行了详细的分析,还指出了其局限性;最后从对象建模和识别、语义抽取规则和用户检索模型3个方面,阐明了实现图象语义处理所面临的问题,并提出了一些初步的解决思路。     

CBIR系统中的图象语义分割技术

随着数字图象技术、宽带网络技术和数字存储设备技术的发展,在网络上存储、传输大规模分布式数字图象库成为可能,因此研究基于内容的图象检索技术成为近几年的热点。实现基于内容的图象检索系统的关键问题是实现图象的语义分割。该文分六类对现有的图象语义分割技术进行了全面的总结,为进一步研究基于内容的图象检索技术奠定了基础。     

按内容检索的图象数据库系统数据模型

数据模型的研究是设计按内容检索的图象数据库系统的基础.本文在超语义数据模型的基础上，提出了一种新的图象数据库系统模型.该模型融合了面向对象的数据模型、语义数据模型和知识模型的特点，并根据图象信息的特点，增加了若干对象类型构造子，使得该模型能较好地支持按内容检索的图象数据库系统建模.     

一种面向图象语义的主要区域提取方法

图象主要区域的提取是图象语义抽取及其应用的基础 .为了更好地进行图象语义的抽取 ,提出了一种面向图象语义的图象主要区域自动提取方法 .该方法首先将图象划分成固定大小的子块 ,并通过对子块特征进行聚类来获得图象的初始区域分割 ;而后 ,经过一系列的后处理来优化分割结果 ,并实现前景和背景区分 ;最后通过分析每个背景区域的重要程度 ,去除掉不相关的背景区域 .通过对包含有显著对象的户外图象进行的实验表明 :该方法不仅可以去除图象中 ,大量与图象语义不相关的内容 ,而且能保留图象的主要信息 ,这就为进一步的图象语义应用打好了基础 .     

视频语义信息的研究

图象语义的研究是当前图象领域的热点之一。论文对图象的语义的客观和主观进行了分析,并提出了一个客观语义与主观语义结合的语义分析模型。     

基于图象对象语义模型的图象对象的创建

在按内容检索的图象数据库系统中，图象特征的提取是系统的关键组件之一．文中在图象对象语义模型的基础上，提出了一种通过任务图调度的图象分析策略，并给出了一组相应的算法来进行图象分析．这种方法可以较好地运用计算机视觉的已有成果，并能在不同的应用中，支持图象分析算法的更新和重用．     

基于小波模糊聚类的均质纹理和非均质纹理图象检索

基于内容的图象检索是近年来的研究热点 ,为此提出了一种自动区分均质纹理和非均质纹理图象 ,并对这两类图象分别进行检索的算法 .算法首先从图象离散小波变换的低频子带提取一定的颜色和纹理特征用于模糊聚类 ,将图象的低频子带分割为一定的区域 ;然后根据分割的结果将图象自动语义分类为均质纹理或者非均质纹理图象 ;最后对均质纹理和非均质纹理图象分别提取不同的特征矢量 ,并按照一定的相似度准则检索图象 .实验结果表明 ,该算法具有良好的均质纹理和非均质纹理图象分类和检索性能 .     

通过抽取的特征进行图象检索的算法测试平台

基于内容的图象检索近年来得到了广泛的研究,人们已提出了许多基于特征的图象检索算法,但如何管理,比较、评价、组合应用这些检索算法已成为继续深入研究必须要解决的一个问题,为了解决此问题,建立了一个通过抽取的特征进行图象检索的算法实验平台,该平台既具有管理功能（包括管理各种算法、图象库和图片）,又集成各种算法,以综合实现不同的检索功能（包括递进检索和综合检索）,实验结果表明,借助平台对算法和图象进行集中管理,既可以方便地对各种基于特征的图象检索算法进行比较和评价,又有助于方便地形研究新的算法。     

Web上基于内容的图象检索技术

Web上基于内容的图象检索集基于内容的图象检索和Internet网络这两项技术于一体,它对图象媒体的广泛应用具有一定的实用价值,同时对图象处理技术如何适应网络要求又有一定的理论研究价值,本文研究了特征提取、分布运算、网络实现等Web上基于内容的图象检索的相关技术,建立了一个单机上的图象检索系统并用该系统检验了自己提出的图象检索方法.另外在Web上实现了使用该方法的图象检索,实践证明小波形状不变矩对图象的形状匹配具有较好的效果.     

多媒体系统中基于图象内容检索的特征指标设计

在多媒体系统应用中基于图象内容检索的特征指标设计问题。对图象和视频的基于内容的检索方法晃成功地开发一个多媒体数据库系统的关键,而对图象泊特征指标的提取则是关键中的关键。目前,基于内容检索的多媒体系统应用还外于初始阶段,并于图象特征指标的设计还没有统一的框架。本文应用图形处理学科中提出的多种指标来作为关于图象检索的线索,并提出了一个初步的检索构思。     

DICOM数据的语义查询及优化

医学信息领域用DICOM类型的数据存储由各类检查设备产生的医学图像信息。DICOM标准的优点是标准化和语义化,它使各类医学图像设备和医学图像处理系统之间有了统一的数据交换模式。一个DICOM图像包含丰富的语义信息,包括患者相关、检查相关和图像相关的信息,但目前各类系统对其应用得还不够,尤其是数据挖掘方面,大多系统是通过构建关系数据库来存储和描述图像相关的信息。针对DICOM图像本身所携带的语义信息进行的挖掘还不够多,这违背了当初创建DICOM标准的初衷。造成这个应用现状的主要原因是国内系统厂商只利用了DICOM标准信息交换的功能,却对其语义的理解有欠缺。为了解决上述问题,对基于DICOM语义信息的数据检索模型、检索方法及检索优化方法进行了研究。根据目前国内业界的应用偏好,对DICOM标准的语义模型进行了扩展,在扩展模型下应用了文本模糊和数据模糊查询方法,最后提出了DICOM语义查询智能Agent的概念。     

一种基于图像高层语义信息的图像检索方法

由于基于图像高层语义信息的图像检索与传统的图像特征匹配检索相比，在检索的准确性、结果相关性以及降低误检率等方面具有明显的优势，因此高效的图像检索方法应该充分利用图像蕴涵的高层语义信息。为了利用图像的高层语义信息来进行图像检索，在深入研究图像高层语义的低层特征描述的基础上，提出了图像语义的层次划分，并对每个高层语义层提出了语义抽取和检索算法。实验结果表明，该检索算法可以有效地对图像高层语义信息进行提取，并可作为新型高效图像检索系统的一个模型。     

基于SVM的图像低层特征与高层语义的关联

在基于内容的图像检索中，针对图像的低层可视特征与高层语义特征之间的鸿沟，提出了一种基于支持向量机（SVM）的语义关联方法。通过对图像低层特征的分析，提取了颜色和形状特征向量（221维），将它们作为支持向量机的输入向量，对图像类进行学习，建立图像低层特征与高层语义的关联，并应用于鸟类、花卉、海洋以及建筑物等几个典型的语义类别检索。实验结果表明，该方法可适应于不同用户的图像检索，并提高了检索性能。     

i-TagRanker: an efficient tag ranking system for image sharing and retrieval using the semantic relationships between tags

Folksonomy, considered a core component for Web 2.0 user-participation architecture, is a classification system made by user’s tags on the web resources. Recently, various approaches for image retrieval exploiting folksonomy have been proposed to improve the result of image search. However, the characteristics of the tags such as semantic ambiguity and non-controlledness limit the effectiveness of tags on image retrieval. Especially, tags associated with images in a random order do not provide any information about the relevance between a tag and an image. In this paper, we propose a novel image tag ranking system called i-TagRanker which exploits the semantic relationships between tags for re-ordering the tags according to the relevance with an image. The proposed system consists of two phases: 1) tag propagation phase, 2) tag ranking phase. In tag propagation phase, we first collect the most relevant tags from similar images, and then propagate them to an untagged image. In tag ranking phase, tags are ranked according to their semantic relevance to the image. From the experimental results on a Flickr photo collection about over 30,000 images, we show the effectiveness of the proposed system.     

Deep Root Memory Optimized Indexing Methodology for Image Search Engines

Digitization has created an abundance of new information sources by altering how pictures are captured. Accessing large image databases from a web portal requires an opted indexing structure instead of reducing the contents of different kinds of databases for quick processing. This approach paves a path toward the increase of efficient image retrieval techniques and numerous research in image indexing involving large image datasets. Image retrieval usually encounters difficulties like a) merging the diverse representations of images and their Indexing, b) the low-level visual characters and semantic characters associated with an image are indirectly proportional, and c) noisy and less accurate extraction of image information (semantic and predicted attributes). This work clearly focuses and takes the base of reverse engineering and de-normalizing concept by evaluating how data can be stored effectively. Thus, retrieval becomes straightforward and rapid. This research also deals with deep root indexing with a multi-dimensional approach about how images can be indexed and provides improved results in terms of good performance in query processing and the reduction of maintenance and storage cost. We focus on the schema design on a non-clustered index solution, especially cover queries. This schema provides a filter predication to make an index with a particular content of rows and an index table called filtered indexing. Finally, we include non-key columns in addition to the key columns. Experiments on two image data sets ‘with and without’ filtered indexing show low query cost. We compare efficiency as regards accuracy in mean average precision to measure the accuracy of retrieval with the developed coherent semantic indexing. The results show that retrieval by using deep root indexing is simple and fast.     

XML驱动的图像语义检索研究

本文研究面向语义检索的图像内容描述机制。首先提出图像语义检索整体框架,系统采用XML技术,将图像内容层式描述、图像语义对象自动获取、图像语义相似测度等功能模块加以融合,实现语义层面的图像检索。重点对系统框架中与图像内容描述相关的图像特征分层描述模型、空间位置算子定义、语义对象操作等关键技术进行讨论,并定义相应的XML语义描述框架。检索实验结果表明,该方法具有较好的语义检索性能。     

深度多模态融合服装风格检索

目的 服装检索方法是计算机视觉与自然语言处理领域的研究热点,其包含基于内容与基于文本的两种查询模态。然而传统检索方法通常存在检索效率低的问题,且很少研究关注服装在风格上的相似性。为解决这些问题,本文提出深度多模态融合的服装风格检索方法。方法 提出分层深度哈希检索模型,基于预训练的残差网络ResNet（residual network）进行迁移学习,并把分类层改造成哈希编码层,利用哈希特征进行粗检索,再用图像深层特征进行细检索。设计文本分类语义检索模型,基于LSTM（long short-term memory）设计文本分类网络以提前分类缩小检索范围,再以基于doc2vec提取的文本嵌入语义特征进行检索。同时提出相似风格上下文检索模型,其参考单词相似性来衡量服装风格相似性。最后采用概率驱动的方法量化风格相似性,并以最大化该相似性的结果融合方法作为本文检索方法的最终反馈。结果 在Polyvore数据集上,与原始ResNet模型相比,分层深度哈希检索模型的top5平均检索精度提高11.6%,检索速度提高2.57 s/次。与传统文本分类嵌入模型相比,本文分类语义检索模型的top5查准率提高29.96%,检索速度提高16.53 s/次。结论 提出的深度多模态融合的服装风格检索方法获得检索精度与检索速度的提升,同时进行了相似风格服装的检索使结果更具有多样性。     

一个智能化的图像检索系统IIRS

本文深入研究了支持语义查询的大型图像数据库检索技术，提出了一种新的基于内容的图像检索系统：IIRS(Intelligent Irnage Retrieval System)。该系统支持多种特征的组合查询，引入了反馈机制及语义查询，具有自动学习及再学习的能力。实验结果表明，引入相关反馈及语义查询，可大大提高检索性能，     

图像数据的结构化协同标注与检索

通过分析图像数据对语义信息的检索需求,提出一种表达图像信息的结构化方法,并定义一种根据图像中隐含语义信息来判定相似度的算法。该方法在一定程度上克服了基于内容的图像检索和基于文本的元数据图像检索这2种常用图像检索方法缺乏语义信息匹配上的不足。原型系统根据结构化协同标注中语义信息的丰富程度与图像检索的精确程度,证明了该方法的有效性。