Learning Based Neural Similarity Metrics for Multimedia Data Mining

Multimedia data mining refers to pattern discovery, rule extraction and knowledge acquisition from multimedia database. Two typical tasks in multimedia data mining are of visual data classification and clustering in terms of semantics. Usually performance of such classification or clustering systems may not be favorable due to the use of low-level features for image representation, and also some improper similarity metrics for measuring the closeness between multimedia objects as well. This paper considers a problem of modeling similarity for semantic image clustering. A collection of semantic images and feed-forward neural networks are used to approximate a characteristic function of equivalence classes, which is termed as a learning pseudo metric (LPM). Empirical criteria on evaluating the goodness of the LPM are established. A LPM based k-Mean rule is then employed for the semantic image clustering practice, where two impurity indices, classification performance and robustness are used for performance evaluation. An artificial image database with 11 semantics is employed for our simulation studies. Results demonstrate the merits and usefulness of our proposed techniques for multimedia data mining.     

基于目标区域的语义图像检索

提出了一种基于高层语义的图像检索方法,该方法首先将图像分割成区域,提取每个区域的颜色、形状、位置特征,然后使用这些特征对图像对象进行聚类,得到每幅图像的语义特征向量;采用模糊C均值算法对图像进行聚类,在图像检索时,查询图像和聚类中心比较,然后在距离最小的类中进行检索。实验表明,提出的方法可以明显提高检索效率,缩小低层特征和高层语义之间的“语义鸿沟”。     

Visual Ontology Construction for Digitized Art Image Retrieval

Current investigations on visual information retrieval are generally content-based methods. The significant difference between similarity in low-level features and similarity in high-level semantic meanings is still a major challenge in the area of image retrieval. In this work, a scheme for constructing visual ontology to retrieve art images is proposed. The proposed ontology describes images in various aspects, including type ＆ style, objects and global perceptual effects. Concepts in the ontology could be automatically derived. Various art image classification methods are employed based on low-level image features. Non-objective semantics are introduced, and how to express these semantics is given. The proposed ontology scheme could make users more naturally find visual information and thus narrows the “semantic gap”. Experimental implementation demonstrates its good potential for retrieving art images in a human-centered manner.     

A survey of content-based image retrieval with high-level semantics

In order to improve the retrieval accuracy of content-based image retrieval systems, research focus has been shifted from designing sophisticated low-level feature extraction algorithms to reducing the ‘semantic gap’ between the visual features and the richness of human semantics. This paper attempts to provide a comprehensive survey of the recent technical achievements in high-level semantic-based image retrieval. Major recent publications are included in this survey covering different aspects of the research in this area, including low-level image feature extraction, similarity measurement, and deriving high-level semantic features. We identify five major categories of the state-of-the-art techniques in narrowing down the ‘semantic gap’: (1) using object ontology to define high-level concepts; (2) using machine learning methods to associate low-level features with query concepts; (3) using relevance feedback to learn users’ intention; (4) generating semantic template to support high-level image retrieval; (5) fusing the evidences from HTML text and the visual content of images for WWW image retrieval. In addition, some other related issues such as image test bed and retrieval performance evaluation are also discussed. Finally, based on existing technology and the demand from real-world applications, a few promising future research directions are suggested.     

基于层次语义的图像分类方法

为了更好地实现基于语义的图像检索,结合了颜色、纹理和形状的综合特征来表示图像,将它们作为支持向量机(SVM)的输入向量,对图像类进行学习,建立图像底层特征和高层语义的关联。采用综合特征表示图像,提高了分类正确率。同时按照分语义层次的方式组织图像库,实现图像的语义分层表示,用各层次的关键词来联合表示图像的语义信息。结果表明,可以在具有较好分类正确率的情况下,使图像具有更全面的语义表示。     

基于模糊支持向量机的面向语义图像检索算法*

为了缩减图像低层特征和高层语义之间的“语义鸿沟”,本文提出一种基于模糊支持向量机的面向语义图像检索(SBIR-FSVM)算法。在提取图像的低层特征的基础上,本文将最小隶属度模糊支持向量机引入到图像检索技术中,获取图像语义信息及消除传统支持向量机(SVM)在多类分类中产生的不可分区域,从而实现面向语义的图像检索。实验结果表明,本文提出的SBIR-FSVM算法与基于SVM的图像检索算法及综合多特征的基于内容的图像检索算法相比均有了显著的改进。     

基于FRD的图像纹理情感语义提取

图像的低层视觉特征(颜色、纹理和形状)中包含大量人类可感知的情感语义信息。利用纹理特征,提出一种新的索引方法——模糊认识度(FRD)聚类法,用来描述与情感相关联的语义图像。FRD聚类法能从高层的情感概念出发进行图像检索。索引使用3个感性的纹理特征：方向性,对比度和粗糙度生成FRD值。实验采用室内装饰图片,结果表明,该方法性能较好。     

结合相关反馈日志与语义网络的图像标注

连接高层语义和低层视觉特征的图像语义标注技术能够很好地表示图像的语义,提出并实现了一种结合相关反馈日志与语义网络的图像标注方法。该方法以收集的用户相关反馈日志为基础获得图像的语义信息,通过计算图像间的语义相似度进行语义聚类并采用语义传播的方式实现图像的语义标注。实验结果表明,随着相关反馈日志库的不断扩充,图像库中越来越多的图像会在反馈的过程中得到标注且标注的准确率会随着反馈次数的增加而趋于稳定。     

利用模糊认知度从图像纹理中提取情感语义

图像的低层视觉特征（颜色、纹理和形状等）中包含着大量人类可感知的情感语义信息。利用纹理特征,提出一种新的索引方法-FRD（Fuzzy Recognize Degree,模糊认识度）聚类法,用来描述与情感相关联的语义图像。FRD聚类法使用三个感性的纹理特征：方向性、对比度和粗糙度,生成FRD值。从高层的情感概念进行图像检索。实验图像采用自然景观图片,验证了新方法的良好性能。     

一种图像底层视觉特征到高层语义的映射方法

基于语义内容的图像检索已经成为解决图像底层特征与人类高层语义之间“语义鸿沟”的关键。根据图像语义检索的思想,提出了一种采用支持向量机(Support Machine Vector)实现图像底层视觉特征到高层语义的映射方法,并在此基础上针对特例库实现了图像的语义标注和检索。实验结果表明,该映射方法能较好地表达人的语义,以提高图像的检索效率。     

利用频繁模式挖掘进行图像标注

在基于内容的图像检索与计算机视觉研究领域中，如何将底层的视觉特征与高层的语义信息相联系，即如何有效地根据图像的底层特征提取其表达的语义概念是备受关注的难题之一。特别是当图像包含了多个语义概念时，问题就变得更为棘手了。本文中，我们提出一种基于图像底层特征值频繁模式的语义概念标注方法，针对图像分块的特点实现了一组有效的模式挖掘算法，并设计了标注规则的生成算法。权威的真实数据集上的实验表明我们的方法在对含有多个语义概念的图像进行概念标注时要比之前的一些算法效果更好。     

Wildlife video key-frame extraction based on novelty detection in semantic context

There is a growing evidence that visual saliency can be better modeled using top-down mechanisms that incorporate object semantics. This suggests a new direction for image and video analysis, where semantics extraction can be effectively utilized to improve video summarization, indexing and retrieval. This paper presents a framework that models semantic contexts for key-frame extraction. Semantic context of video frames is extracted and its sequential changes are monitored so that significant novelties are located using a one-class classifier. Working with wildlife video frames, the framework undergoes image segmentation, feature extraction and matching of image blocks, and then a co-occurrence matrix of semantic labels is constructed to represent the semantic context within the scene. Experiments show that our approach using high-level semantic modeling achieves better key-frame extraction as compared with its counterparts using low-level features.     

基于语义测度的图像相似性计算研究

针对图像检索中的低层视觉特征相似性度量问题,提出一种基于语义测度的图像相似性计算方法。该方法在图像区域分割的基础上,通过构建图像区域子块与语义元数据之间的统计映射关系,实现图像内容的统计语义描述,建立图像之间、图像与语义类别、语义类别之间的分层语义相似测度。通过对自然图像库的实验结果表明,该方法在相似图像检索中具有更好的性能。     

一种基于稀疏典型性相关分析的图像检索方法

图像语义检索的一个关键问题就是要找到图像底层特征与语义之间的关联,由于文本是表达语义的一种有效手段,因此提出通过研究文本与图像两种模态之间关系来构建反映两者间潜在语义关联的有效模型的思路,基于该模型,可使用自然语言形式(文本语句)来表达检索意图,最终检索到相关图像.该模型基于稀疏典型性相关分析(sparse canonical correlation analysis,简称sparse CCA),按照如下步骤训练得到:首先利用隐语义分析方法构造文本语义空间,然后以视觉词袋(bag of visual words)来表达文本所对应的图像,最后通过Sparse CCA算法找到一个语义相关空间,以实现文本语义与图像视觉单词间的映射.使用稀疏的相关性分析方法可以提高模型可解释性和保证检索结果稳定性.实验结果验证了Sparse CCA方法的有效性,同时也证实了所提出的图像语义检索方法的可行性.     

情感语义图像检索技术研究

图像中所蕴涵的丰富语义仅用若干低级物理特征是不能进行完整描述的,而且在语义映射时也会有信息丢失,因而产成“语义鸿沟”是在所难免的。将多特征融合,建立情感语义模型,分析情感的概念解析功能对提高智能信息检索的精度和效率是非常必要的。论文讨论了图像的颜色、纹理等特征的提取与表示,低阶图像可视化特征到高阶图像语义特征的映射过程,图像的情感语义分类,建立了情感语义模型,实现对基于情感语义图像的检索。对由2500幅数字图像组成的数据集进行了实验,并对实验结果进行分析,部分结果是令人满意的,而且提高了基于内容图像检索的精度。     

一种基于图像高层语义信息的图像检索方法

由于基于图像高层语义信息的图像检索与传统的图像特征匹配检索相比，在检索的准确性、结果相关性以及降低误检率等方面具有明显的优势，因此高效的图像检索方法应该充分利用图像蕴涵的高层语义信息。为了利用图像的高层语义信息来进行图像检索，在深入研究图像高层语义的低层特征描述的基础上，提出了图像语义的层次划分，并对每个高层语义层提出了语义抽取和检索算法。实验结果表明，该检索算法可以有效地对图像高层语义信息进行提取，并可作为新型高效图像检索系统的一个模型。     

基于多层次空间注意力的图文评论情感分析方法

随着社交网络的不断普及,相对于传统的文字描述,人们更倾向于发布图文结合的评论来表达自己的情感与意见。针对图文情感分析方法中仅考虑图文间的高级语义联系,而较少注意图片的低层次情感特征以及中层美学特征与文本情感之间关联性的问题,提出了一种基于多层次空间注意力（MLSA）的图文评论情感分析方法。所提方法以文本内容为驱动,使用MLSA设计图像与文本之间的特征融合方法,该特征融合方法不仅关注与文本相关的图像实体特征,而且充分利用图像的中层美学特征和低层视觉特征,从而从多个不同角度挖掘图文之间的情感共现。在两个公开的图文情感数据集MVSA_Single和MVSA_Multi上,该方法的分类效果相对于对比方法中最优的方法的分类效果在准确率上分别提高了0.96和1.06个百分点,在F1值上分别提高了0.96和0.62个百分点。实验结果表明,综合分析文本特征和图像特征之间的层次化联系能有效地增强神经网络捕捉图文情感语义的能力,从而更准确地预测图文整体的情感。     

结合Web背景知识的图像语义标注

针对基于内容的图像语义标注方法中,相同或相近视觉特征对应语义可能不同的情况,提出了一个结合Web背景知识的图像语义关联模型,利用从Web页面中提取的与图像相关的属性,计算Web图像与标注关键词间的语义相关性,确定待标注Web图像的语义,实验表明该方法具有较好的性能。