基于GIS语义的遥感图像检索

语义图像检索为填补图像低层视觉特征和用户高层语义之间的鸿沟而产生,图像语义描述和提取是其关键。提出了一种基于G IS语义的遥感图像检索(G IS sem antics-based remote sensing im age retrieval,简称G ISSB IR)方法,主要涉及空间对象的语义表达和语义匹配两方面内容。利用面向对象G IS语义模型和概念语义网络共同表达空间对象的语义,设计了语义调解器处理用户与系统之间的语义不一致。通过对G IS原子查询结果进行布尔运算得到矢量查询结果,在此基础上得到与G IS数据具有统一坐标框架的遥感图像检索结果。实验结果表明G ISSB IR方法是有效的。     

一种基于语义网络的图像检索方法

当前基于内容的图像检索主要采用底层特征检索技术,如颜色、形状和空间分析。然而无法表达图像的高层语义信息,造成了检索结果的不精确。结合低层特征,提出一种基于关键字语义网络的图像检索方法。通过语义网络的不断完善,检索的精确度也将随之提高。     

相关空间嵌入算法及其在图像检索中的应用

图像语义检索的一个有效解决途径是找到图像底层特征与文本语义之间的关联.文中在核方法和图拉普拉斯矩阵的基础上,提出一种相关空间嵌入算法,并利用文本隐性语义索引和图像特征的视觉单词,构造出文本语义空间与图像特征空间这两个异构空间的相关关系,从而找出文本语义与视觉单词间潜在关联,实现图像的语义检索.文中算法把保持数据流形结构的一致性作为一种先验约束,将文本语义空间和图像特征空间中的数据点嵌入到同一个相关空间中.因此,与典型相关分析算法相比,这种相关嵌入映射不仅可揭示不同数据空间之间存在的相关关系,还可在相关空间中保留原始数据分布结构,从而提高算法的可靠性.实验验证文中算法的有效性,为图像语义检索提供一种可行方法.     

一种图像底层视觉特征到高层语义的映射方法

基于语义内容的图像检索已经成为解决图像底层特征与人类高层语义之间“语义鸿沟”的关键。根据图像语义检索的思想,提出了一种采用支持向量机(Support Machine Vector)实现图像底层视觉特征到高层语义的映射方法,并在此基础上针对特例库实现了图像的语义标注和检索。实验结果表明,该映射方法能较好地表达人的语义,以提高图像的检索效率。     

基于支持向量机的图像情感语义注释和检索算法的研究

图像语义检索是当前图像检索的一个新的研究热点,其中情感语义是最高层的语义,通常用形容词来描述.本文提出了一种新的图像情感语义注释算法,以图像的简单特征来描述图像内容,建立图像的特征空间;用形容词表达图像的情感语义,通过认知心理实验和因子分析建立情感空间;采用支持向量机算法建立图像内容和其所表达的情感语义之间的联系,并自动对未曾评价过的图像进行注释.在此基础上,提出图像的情感检索方法,实现了服装和风景图像的情感检索,取得了较好的实验结果.     

一种结合语义特征和视觉特征的图像检索方法

为了解决传统的CBIR系统中存在的"语义鸿沟"问题,提出一种结合语义特征和视觉特征的图像检索方法.将图像的语义特征和视觉特征数据结合到同一个索引向量中,进行基于内容的图像检索.系统使用潜在语义索引(LSI)技术提取图像的语义特征,提取颜色直方图作为图像的视觉特征.通过将图像底层视觉特征与图像在向量空间中的语义统计特征相...     

一种基于稀疏典型性相关分析的图像检索方法?

图像语义检索的一个关键问题就是要找到图像底层特征与语义之间的关联,由于文本是表达语义的一种有效手段,因此提出通过研究文本与图像两种模态之间关系来构建反映两者间潜在语义关联的有效模型的思路。基于该模型,可使用自然语言形式(文本语句)来表达检索意图,最终检索到相关图像。该模型基于稀疏典型性相关分析(sparse canonical correlation analysis,简称sparse CCA),按照如下步骤训练得到：首先利用隐语义分析方法构造文本语义空间,然后以视觉词袋(bag of visual words)来表达文本所对应的图像,最后通过Sparse CCA算法找到一个语义相关空间,以实现文本语义与图像视觉单词间的映射。使用稀疏的相关性分析方法可以提高模型可解释性和保证检索结果稳定性。实验结果验证了Sparse CCA方法的有效性,同时也证实了所提出的图像语义检索方法的可行性。     

一种基于稀疏典型性相关分析的图像检索方法

图像语义检索的一个关键问题就是要找到图像底层特征与语义之间的关联,由于文本是表达语义的一种有效手段,因此提出通过研究文本与图像两种模态之间关系来构建反映两者间潜在语义关联的有效模型的思路,基于该模型,可使用自然语言形式(文本语句)来表达检索意图,最终检索到相关图像.该模型基于稀疏典型性相关分析(sparse canonical correlation analysis,简称sparse CCA),按照如下步骤训练得到:首先利用隐语义分析方法构造文本语义空间,然后以视觉词袋(bag of visual words)来表达文本所对应的图像,最后通过Sparse CCA算法找到一个语义相关空间,以实现文本语义与图像视觉单词间的映射.使用稀疏的相关性分析方法可以提高模型可解释性和保证检索结果稳定性.实验结果验证了Sparse CCA方法的有效性,同时也证实了所提出的图像语义检索方法的可行性.     

基于模糊熵的空间语义图像检索模型研究*

根据模糊熵理论和改进的空间信息分布,提出了颜色空间特征语义图像检索模型。阐述基于语法规则的颜色空间特征语义描述方法,构造从低层颜色空间特征到高层语义之间的映射,根据这些模糊语义值进行图像检索。实验结果表明,该模型能够有效地对图像高层语义进行刻画,由此实现的模型不仅能获得高效和稳定的检索结果,获得与人类视觉感知较好的一致性,该算法还能很好地消除低层图像空间特征和高层语义之间的语义鸿沟。     

利用频繁模式挖掘进行图像标注

在基于内容的图像检索与计算机视觉研究领域中，如何将底层的视觉特征与高层的语义信息相联系，即如何有效地根据图像的底层特征提取其表达的语义概念是备受关注的难题之一。特别是当图像包含了多个语义概念时，问题就变得更为棘手了。本文中，我们提出一种基于图像底层特征值频繁模式的语义概念标注方法，针对图像分块的特点实现了一组有效的模式挖掘算法，并设计了标注规则的生成算法。权威的真实数据集上的实验表明我们的方法在对含有多个语义概念的图像进行概念标注时要比之前的一些算法效果更好。     

基于支持向量机的语义图像分类研究

随着多媒体数据库的不断发展,传统的利用关键词进行图像检索已经越来越不能满足图像检索的需要,基于内容的图像检索已成为当前的研究热点。对图像的颜色和纹理特征进行提取,融合图像的颜色和纹理特征作为图像的特征向量,用支持向量机实现图像的低层特征和高级语义间的关联。实验结果表明,多特征的图像检索要比单一的特征检索效果好,在HSV颜色特征的基础上引入灰度共生矩阵纹理特征后可有效提高检索效率,而且采用支持向量机融合多特征可成功用于图像的语义的检索。     

基于SVM的图像低层特征与高层语义的关联

在基于内容的图像检索中，针对图像的低层可视特征与高层语义特征之间的鸿沟，提出了一种基于支持向量机（SVM）的语义关联方法。通过对图像低层特征的分析，提取了颜色和形状特征向量（221维），将它们作为支持向量机的输入向量，对图像类进行学习，建立图像低层特征与高层语义的关联，并应用于鸟类、花卉、海洋以及建筑物等几个典型的语义类别检索。实验结果表明，该方法可适应于不同用户的图像检索，并提高了检索性能。     

基于未知类语义约束自编码的零样本图像分类

为缓解传统零样本图像分类模型中存在的领域偏移问题,提出一种基于未知类语义约束自编码的零样本图像分类模型.首先,利用预训练的ResNet101网络提取所有已知类和未知类图像的视觉特征;其次,通过编码器将提取的图像深度视觉特征从视觉空间映射到语义空间;然后,通过解码器将映射后得到的语义向量重构为视觉特征向量,在语义自编码器的训练过程中,利用未知类图像的聚类视觉中心和未知类语义类原型的分布对齐施加约束,以缓解领域偏移问题;最后,基于经编码器预测得到的测试图像语义向量和各测试类语义类原型之间的相似性,采用最近邻算法实现零样本图像分类.在AwA2和CUB数据集上的实验结果表明,所提出模型具有较高的分类准确度.     

The image annotation algorithm using convolutional features from intermediate layer of deep learning

The automatic image annotation is an effective computer operation that predicts the annotation of an unknown image by automatically learning potential relationships between the semantic concept space and the visual feature space in the annotation image dataset. Usually, the auto-labeling image includes the processing: learning processing and labeling processing. Existing image annotation methods that employ convolutional features of deep learning methods have a number of limitations, including complex training and high space/time expenses associated with the image annotation procedure. Accordingly, this paper proposes an innovative method in which the visual features of the image are presented by the intermediate layer features of deep learning, while semantic concepts are represented by mean vectors of positive samples. Firstly, the convolutional result is directly output in the form of low-level visual features through the mid-level of the pre-trained deep learning model, with the image being represented by sparse coding. Secondly, the positive mean vector method is used to construct visual feature vectors for each text vocabulary item, so that a visual feature vector database is created. Finally, the visual feature vector similarity between the testing image and all text vocabulary is calculated, and the vocabulary with the largest similarity used for annotation. Experiments on the datasets demonstrate the effectiveness of the proposed method; in terms of F1 score, the proposed method’s performance on the Corel5k dataset and IAPR TC-12 dataset is superior to that of MBRM, JEC-AF, JEC-DF, and 2PKNN with end-to-end deep features.

     

密度分布特征及其在二值图像检索中的应用

图像的形状是描述图像的重要视觉和语义特征,可通过图像中像素点的区域分布表现出来。为了对二值图像进行有效检索,提出了一种基于区域的形状特征——密度分布特征,用来进行二值图像检索。该方法在经过形心定位和子图像区域划分后,可得到2个M维特征向量,其中第1个表示各个子图像区域的目标像素的相对密度,第2个表示各个子图像区域的目标像素在极坐标方向上的相对密度的一阶数值差分。在进行相似性度量时,首先采用Gaussian模型对用这2个特征向量计算得到的距离分别进行归一化处理;然后综合两个特征向量的距离计算总的相似度。实验结果表明,密度分布特征不仅能够有效地刻画二值图像的形状,具有非常好的平移、尺度和旋转不变性,而且检索结果优于Hu不变矩。     

基于新的空间关系特征的图像检索方法

图像与图像之间没有清晰的空间结构,这样就不能有效利用图像间空间结构上的相关性信息,针对此问题提出一种基于新的空间关系特征的图像检索方法。首先,提取待查询图像在内的全部图像的特征向量。然后,计算特征向量每两个之间的相似性,形成相似性矩阵。将相似性矩阵的列集合作为新特征向量,命名为新的空间关系特征向量,从而将原来的特征向量映射到一个欧氏空间上。最后,在新特征空间上计算相似性,特征向量之间的相似性问题就转化为新的空间关系特征向量之间的相似性问题。在新特征空间上,图像与图像之间的空间结构变得清晰了,有利于图像检索准确度的提高。在Corel数据库上进行实验,所提方法在平均检索查准率、查全率-查准率和可视化评价指标上都优于基于颜色直方图的图像检索方法。结果表明,基于新的空间关系特征的图像检索方法有效利用了图像间空间结构上的相关性信息,具有更好的检索效果。     

基于高层颜色语义名称的显著性检测*

为了克服图像底层特征与高层语义之间的语义鸿沟,降低自顶向下的显著性检测方法对特定物体先验的依赖,提出一种基于高层颜色语义特征的显著性检测方法。首先从彩色图像中提取结构化颜色特征并在多核学习框架下,实现对图像进行颜色命名获取像素的颜色语义名称;接着利用图像颜色语义名称分布计算高层颜色语义特征,再将其与底层的Gist特征融合,通过线性支持向量机训练生成显著性分类器,实现像素级的显著性检测。实验结果表明,本文算法能够更加准确地检测出人眼视觉关注点。且与传统的底层颜色特征相比,本文颜色语义特征能够获得更好的显著性检测结果。     

基于目标区域的语义图像检索

提出了一种基于高层语义的图像检索方法,该方法首先将图像分割成区域,提取每个区域的颜色、形状、位置特征,然后使用这些特征对图像对象进行聚类,得到每幅图像的语义特征向量;采用模糊C均值算法对图像进行聚类,在图像检索时,查询图像和聚类中心比较,然后在距离最小的类中进行检索。实验表明,提出的方法可以明显提高检索效率,缩小低层特征和高层语义之间的“语义鸿沟”。