集成视觉特征和语义信息的相关反馈方法

为了有效地利用图像检索系统的语义分类信息和视觉特征,提出一种基于Bayes的集成视觉特征和语义信息的相关反馈检索方法.首先,将图像库的数据经语义监督的视觉特征聚类算法划分为小的聚类,每个聚类内数据的视觉特征相似并且语义类别相同;然后以聚类为单位标注正负反馈的实例,这显著区别于以单个图像为单位的相关反馈过程;最后分别以基于视觉特征的Bayes分类器和基于语义的Bayes分类器修正相似距离.在图像库上的实验表明,只用较少的反馈次数就可以达到较高的检索准确率.     

基于分类融合和关联规则挖掘的图像语义标注

图像语义自动标注问题是现阶段一个具有挑战性的难题。在跨媒体相关模型基础上,提出了融合图像类别信息的图像语义标注新方法,并利用关联规则挖掘算法改善标注结果。首先对图像进行低层特征提取,用“视觉词袋”描述图像;然后对图像特征分别进行K-means聚类和基于支持向量机的多类别分类,得到图像相似性关系和类别信息;计算语义标签和图像之间的概率关系,并将图像类别信息作为权重融合到标签的统计概率中,得到候选标注词集;最后以候选标注词概率为依据,利用改善的关联规则挖掘算法挖掘文本关联度,并对候选标注词集进行等频离散化处理,从而得到最终标注结果。在图像集Corel上进行的标注实验取得了较为理想的标注结果。     

一种新的基于语义聚类和图算法的自动图像标注方法

针对图像检索中的语义鸿沟问题,提出了一种新颖的自动图像标注方法。该方法首先采用了一种基于软约束的半监督图像聚类算法(SHMRF-Kmeans)对已标注图像的区域进行语义聚类,这种聚类方法可以同时考虑图像的视觉信息和语义信息。并利用图算法——Manifold排序学习算法充分发掘语义概念与区域聚类中心的关系,得到两者的联合概率关系表。然后利用此概率关系表标注未知标注的图像。该方法与以前的方法相比可以更加充分地结合图像的视觉特征和高层语义。通过在通用图像集上的实验结果表明,本文提出的自动图像标注方法是有效的。     

基于文本和内容的图像检索算法

为了提高图像检索的效率,提出一种基于文本和内容的图像检索算法。该算法采用稠密的尺度不变特征转换（ DSIFT）构造视觉单词的方式来描述图像内容,依据基于概率潜在语义分析（ PLSA）模型的图像自动标注方法获取的视觉语义对查询图像进行初步检索,在此结果集上对筛选出的语义相关图像按内容相似度排序输出。在数据集Corel1000上的实验结果表明,该算法能够实现有效的图像检索,检索效率优于单一的基于内容的图像检索算法。     

基于互信息约束聚类的图像语义标注

提出一种基于互信息约束聚类的图像标注算法。采用语义约束对信息瓶颈算法进行改进,并用改进的信息瓶颈算法对分割后的图像区域进行聚类,建立图像语义概念和聚类区域之间的相互关系;对未标注的图像,提出一种计算语义概念的条件概率的方法,同时考虑训练图像的先验知识和区域的低层特征,最后使用条件概率最大的语义关键字对图像区域语义自动标注。对一个包含500幅图像的图像库进行实验,结果表明,该方法比其他方法更有效。     

基于AFSVM-MIL算法的图像标注*

通常情况下关键字只标注在图像上,而多示例(MIL)检索的需要将关键字下沉到区域.针对这个问题,在模糊支持向量机算法(FSVM)的基础上提出了一种改进的自适应模糊支持向量机多示例学习算法(AFSVM-MIL算法),在多示例学习的框架下把区域级的图像标注变成了一种有监督的学习.该方法利用AFSVMMIL对训练集进行分类,结...     

一个相关反馈三维模型深度图像检索算法

基于图像的三维模型检索比形状特征和拓扑结构特征具有更易于实现且检索效果好等优点,但现有基于图像的三维模型检索方法存在一些问题,如没有考虑三维深度信息、所提特征不能全部表达三维模型信息且不能实现用户交互操作等。对此提出一种基于深度图像的三维模型相关反馈检索算法:首先提取三维模型深度图像边界方向直方图和Zernike矩特征;然后利用特征距离度量进行三维模型检索,并采用相关反馈技术实现分类器的构造和模型的标注;最后利用调整好的权值分类器进行检索和标注。实验表明,该算法实现了三维模型的相关反馈检索和标注,提高了检索的精确性,并增强了系统的实用性,为进一步进行语义检索打下基础。     

基于t混合模型的自动图像标注

图像自动标注的实质是通过对图像视觉特征的分析来提取高层语义关键词用于表示图像的含义,从而使得现有图像检索问题转化为技术已经相当成熟的文本检索问题,在一定程度上解决了基于内容图像检索中存在的语义鸿沟问题.采用t混合模型在已标注好的训练图像集上计算图像区域类与关键字的联合概率分布,在此基础上,对未曾观察过的测试图像集,利用生成的模型根据贝叶斯最小错误概率准则实现自动图像标注.实验结果表明,该方法能有效改善标注结果.     

基于SVM算法的图像自动标注

伴随着存储技术以及网络技术的飞速发展,以图像形式来表现大量有效信息成为有效手段。这样一来,怎样实现对海量图像库的有效检索和管理已经非常重要,而其中语义清晰又是重中之重。在图像自动标注技术中,基于图像底层视觉特征的标注技术能够完成,利用图像的底层特征中提取出高级语义信息来标注待标注图像。通过SVM(Support Vector Machine)支持向量机学习方法来自动获取图像高级语义信息关键字,来完成图像的自动标注具有深远的研究意义。     

特征融合和支持向量机反馈的图像检索算法

检索算法是海量图像自动检索基础。鉴于单一特征无法准确描述图像内容,结合时域和频域纹理特征优点,提出一种特征融合和支持向量机反馈的图像检索算法。首先取图像的LBP直方图作为空域特征,并利用Brushlet变换提取子带能量特征作为频域特征;然后采用马氏距离相似度量进行图像初步检察;最后采用支持向量机反馈提高图像检索准确率。仿真结果表明,相对于单一特征检索算法,该图像检索算法提高了图像检索的平均准确率,可以更准确地查找到用户所需的图像。     

改进k-means算法在图像标注和检索中的应用

提出一种基于改进的k-means算法的图像标注和检索方法。首先对训练图像进行分割,采用改进的k-means算法对分割后的区域进行聚类。改进的k-means算法首先采用遗传聚类算法确定聚类数k,然后对聚类中心进行选择。在图像标注时,首先通过已标注的图像求出语义概念和聚类区域的关联度,用它作为待标注图像的先验知识,然后结合区域的低层特征,对未标注的图像进行标注。在一个包含1 000幅图像的图像库进行实验,采用标注的语义关键字进行检索,结果表明,提出的方法是有效的。     

图像语义标注中的叙词查询方法*

为了在图像语义标注领域能更好地反映标注之间的关系,通过对已标注图像的标注进行分析来建立标 注之间的关系,并在此基础上将叙词查询的概念引入到图像语义标注中并提出了基于叙词查询的图像语义标注 方法,把语义标注问题统一在叙词查询与图像的语义关系相结合在统一的框架下,最后通过在Ｃｏｒｅｌ图像数据库中的验证表明,所提出的方法是有效的并且标注率得到了明显的提高。     

基于文本与语义相关性分析的图像检索

为了更加有效地检索到符合用户复杂语义需求的图像，提出一种基于文本描述与语义相关性分析的图像检索算法。该方法将图像检索分为两步：基于文本语义相关性分析的图像检索和基于SIFT特征的相似图像扩展检索。根据自然语言处理技术分析得到用户文本需求中的关键词及其语义关联，在选定图像库中通过语义相关性分析得到“种子”图像；接下来在图像扩展检索中，采用基于SIFT特征的相似图像检索，利用之前得到的“种子”图像作为查询条件，在网络图像库中进行扩展检索，并在结果集上根据两次检索的图像相似度进行排序输出，最终得到更加丰富有效的图像检索结果。为了证明算法的有效性，在标准数据集Corel5K和网络数据集Deriantart8K上完成了多组实验，实验结果证明该方法能够得到较为精确地符合用户语义要求的图像检索结果，并且通过扩展算法可以得到更加丰富的检索结果。     

基于本体的图像检索

提出一种基于本体的图像检索方法,该方法首先采用改进的K均值无监督分割方法将图像分割成区域,然后提取每个区域的颜色、形状、位置、纹理等低层描述特征,应用这些特征定义一个简单的对象本体。为了提高图像检索的准确度,最后采用支持向量机（SVM）的相关反馈算法。实验结果表明,提出的方法不仅可以提高检索效率,而且对于缩小低层视觉特征和高层语义特征之间的“语义鸿沟”具有很大的意义。     

基于目标区域和相关反馈的图像检索

提出了一种基于目标区域和相关反馈的图像检索方法,首先采用改进的K均值无监督分割方法将图像分割成区域,然后提取每个区域的颜色、位置、形状特征进行相似度计算;最后采用基于支持向量机（SVM）的相关反馈算法提高检索精度。实验结果表明,方法具有良好的检索性能。     

FAC算法在图像检索中的应用

在自动标注系统中,底层特征转换成高层标注的准确度较低。为此,将自动标注系统中的底层视觉特征和社会标注系统中的高级语义相结合,提出一种新的图像语义标注算法——FAC算法。从自动标注系统和flickr网站用户中得到候选标注,利用图像标注推荐策略获取推荐标注,根据WordNet语义词典中的语义关系,精简出最终的标注集合。实验结果表明,与传统的自动标注算法相比,FAC算法的准确度较高。     

Visual and textual fusion for semantically supervised region-based retrieval

This paper presents a unified annotation and retrieval framework, which integrates region annotation with image retrieval for performance reinforcement. To integrate semantic annotation with region-based image retrieval, visual and textual fusion is proposed for both soft matching and Bayesian probabilistic formulations. To address sample insufficiency and sample asymmetry in the annotation classifier training phase, we present a region-level multi-label image annotation scheme based on pair-wise coupling support vector machine (SVM) learning. In the retrieval phase, to achieve semantic-level region matching we present a novel retrieval scheme which differs from former work: the query example uploaded by users is automatically annotated online, and the user can judge its annotation quality. Based on the user’s judgment, two novel schemes are deployed for semantic retrieval: (1) if the user judges the photo to be well annotated, Semantically supervised Integrated Region Matching is adopted, which is a keyword-integrated soft region matching method; (2) If the user judges the photo to be poorly annotated, Keyword Integrated Bayesian Reasoning is adopted, which is a natural integration of a Visual Dictionary in online content-based search. In the relevance feedback phase, we conduct both visual and textual learning to capture the user’s retrieval target. Better annotation and retrieval performance than current methods were reported on both COREL 10,000 and Flickr web image database (25,000 images), which demonstrated the effectiveness of our proposed framework.     

利用遗传算法和特征权重调整的图像检索

综合多种特征的图像检索可以克服使用单一特征带来的问题,如何组织这些特征使其发挥最佳作用是基于内容图像检索中的一个难点。提出了一种基于遗传算法相关反馈的图像特征权重调整方法,利用遗传算法和特征权重的调整,缩小低层特征和高层语义之间的语义鸿沟,使检索效果在很短的时间内达到最好。实验表明,该方法查全率和查准率较高,对于各种特征的组合,都能达到最佳的检索效果。     

基于目标区域的语义图像检索

提出了一种基于高层语义的图像检索方法,该方法首先将图像分割成区域,提取每个区域的颜色、形状、位置特征,然后使用这些特征对图像对象进行聚类,得到每幅图像的语义特征向量;采用模糊C均值算法对图像进行聚类,在图像检索时,查询图像和聚类中心比较,然后在距离最小的类中进行检索。实验表明,提出的方法可以明显提高检索效率,缩小低层特征和高层语义之间的“语义鸿沟”。     

A probabilistic semantic model for image annotation and multi-modal image retrieval

This paper addresses automatic image annotation problem and its application to multi-modal image retrieval. The contribution of our work is three-fold. (1) We propose a probabilistic semantic model in which the visual features and the textual words are connected via a hidden layer which constitutes the semantic concepts to be discovered to explicitly exploit the synergy among the modalities. (2) The association of visual features and textual words is determined in a Bayesian framework such that the confidence of the association can be provided. (3) Extensive evaluation on a large-scale, visually and semantically diverse image collection crawled from Web is reported to evaluate the prototype system based on the model. In the proposed probabilistic model, a hidden concept layer which connects the visual feature and the word layer is discovered by fitting a generative model to the training image and annotation words through an Expectation-Maximization (EM) based iterative learning procedure. The evaluation of the prototype system on 17,000 images and 7736 automatically extracted annotation words from crawled Web pages for multi-modal image retrieval has indicated that the proposed semantic model and the developed Bayesian framework are superior to a state-of-the-art peer system in the literature.