基于支持向量机的图像情感语义注释和检索算法的研究

图像语义检索是当前图像检索的一个新的研究热点,其中情感语义是最高层的语义,通常用形容词来描述.本文提出了一种新的图像情感语义注释算法,以图像的简单特征来描述图像内容,建立图像的特征空间;用形容词表达图像的情感语义,通过认知心理实验和因子分析建立情感空间;采用支持向量机算法建立图像内容和其所表达的情感语义之间的联系,并自动对未曾评价过的图像进行注释.在此基础上,提出图像的情感检索方法,实现了服装和风景图像的情感检索,取得了较好的实验结果.     

基于自然语言处理的图像情感语义检索研究

自然语言问答在情感图像检索中并未广泛应用,对此进行了探索与尝试,设计和实现了一个以自然语言作为检索入口的情感图像检索系统,并给出系统架构及技术方案。研究过程中,引入自然语言处理技术对自然问句进行浅层语义分析,并建立了一个情感映射模型,实现了常用情感词语与该模型之间以及该模型与情感图像之间的映射。另外,还对系统的检索结果进行了评价。通过对系统的实现,为自然语言问答与情感图像检索的结合提供了一种新的思路与方法。     

基于内容的图像情感语义检索研究

基于内容的图像检索是使用图像的底层视觉特征对图像进行检索,使检索结果在视觉角度上尽可能相似。但能否通过图像的底层特征来准确体现人对图像的视觉感知(即图像的情感语义)有待于进一步的探索。首先构建检索性能较好的基于内容的图像检索系统,并针对分类标准不同的两类图像库进行多次实验。实验证明,图像的情感语义无法通过单一的图像底层特征描述。     

图像情感语义规则抽取的研究

针对图像视觉特征和情感语义之间的语义鸿沟,以图像纹理为低层特征,通过使用BP神经网络完成了图像低层特征到情感语义的映射;并在精度保持不变的前提下,对训练好的网络模型进行剪枝,最后通过神经网络规则抽取算法将隐含在神经网络模型中的知识转化为易于理解的IF-THEN规则形式。实验验证了方法的有效性和规则的可理解性。     

基于高层语义的图像检索算法

利用Bayes统计学习和决策理论,建立了一种图像语义综合概率描述模型(image probability semanticmodel,简称IPSM).该模型是一种基于描述性特征建模方法的分层体系结构,由原始图像层、图像特征层、图像语义层、综合概率层、概率传播层和语义映射层6个部分组成.并在IPSM模型对图像的语义分类特征进行描述和提取的基础上,提出并实现了基于高层语义的图像检索算法(semantic high-1evel retrieval algorithm,简称SHM)以及基于高层语义的相关反馈算法(semantic relevance feedback,简称SRF).实验结果表明,IPSM模型及SHR和SRF两个算法能够有效地对图像的高层语义进行刻画,其图像匹配检索效果良好,并具有稳定的检索性能.     

基于本体的图像情感语义识别研究

抽取图像颜色、形状、纹理特征,通过本体映射,建立本体表示的图像情感特征库。以中国情感图片系统作为训练样本,挖掘图像特征与情感之间的关联关系,并通过语义网规则语言SWRL（Semantic Web Rule Language）表示关联规则,建立情感映射规则库。情感推理引擎使用情感映射规则对图像特征进行推理,达到识别图像情感语义的目的。     

基于语义特征的多视图情感分类方法

情感分析也称为意见挖掘,是对文本中所包含的情感倾向进行分析的技术。目前很多情感分析工作都是基于纯文本的。而在微博上,除了文本,大量的图片信息也蕴含了丰富的情感信息。本文提出了一种基于文本和图像的多模态分类算法,通过使用潜在语义分析,将文本特征和图像特征分别映射到同维度下的语义空间,得到各自的语义特征,并用SVM-2K进行分类。利用新浪微博热门微博栏目下爬取的文字和配图的微博数据进行了实验。实验结果表明,通过融合文本和图像的语义特征,情感分类的效果好于单独使用文本特征或者图像特征。     

一种图像底层视觉特征到高层语义的映射方法

基于语义内容的图像检索已经成为解决图像底层特征与人类高层语义之间“语义鸿沟”的关键。根据图像语义检索的思想,提出了一种采用支持向量机(Support Machine Vector)实现图像底层视觉特征到高层语义的映射方法,并在此基础上针对特例库实现了图像的语义标注和检索。实验结果表明,该映射方法能较好地表达人的语义,以提高图像的检索效率。     

图像检索中语义映射方法综述

"语义鸿沟"已成为基于内容图像检索的瓶颈,解决这个问题需要建立从图像的低层特征到高层语义的映射.对当前语义映射研究进行了综述,首先给出一个结合语义的图像检索框架,并分析了图像内容的层次模型及图像语义的表示方法;然后根据算法的特点,将现有的语义映射方法和技术分为4大类,重点阐述了各类方法提出的思路、模型.并讨论各自的优势和局限性;最后以图像检索实际应用的需要为依据,提出在图像语义检索相关领域的重要课题和研究方向.     

基于模糊熵的空间语义图像检索模型研究*

根据模糊熵理论和改进的空间信息分布,提出了颜色空间特征语义图像检索模型。阐述基于语法规则的颜色空间特征语义描述方法,构造从低层颜色空间特征到高层语义之间的映射,根据这些模糊语义值进行图像检索。实验结果表明,该模型能够有效地对图像高层语义进行刻画,由此实现的模型不仅能获得高效和稳定的检索结果,获得与人类视觉感知较好的一致性,该算法还能很好地消除低层图像空间特征和高层语义之间的语义鸿沟。     

多特征综合的图像模糊情感注释方法研究

针对解决图像有效情感标注的问题,提出了一种多特征综合的图像模糊情感注释方法。该方法在讨论图像中的可视化特征（颜色、纹理和形状）与图像情感之间关系的基础上,选取和修正合适的算法提取颜色、纹理和形状特征,并将其作为模糊输入量;提出一种情感空间表示法量化情感;利用模糊集的近似推理理论完成对图像的情感注释。对100幅自然图像进行模糊情感标注,将其结果和20名自愿者对图像的情感感觉进行对比,实验结果表明,该方法能够有效地标识图像情感语义,证实了所采用的情感空间表示法具有一定的科学性,对于装璜、电子教学、图像检索和情感计算有一定的应用价值。     

视频情感语义分析——类型-强度分解法

提出一种视频情感语义分析方法,利用强度和类型两个独立分量构造的二维空间来建立人类情感模型,通过多模态的听觉、视觉特征,分别构造连续型的情感强度时序曲线和离散型的情感类型时序曲线,从而建立低层特征空间与情感空间之间的映射关系,实现对视频内容的情感注释和分析。类型-强度分解曲线可客观、真实地描述视频情感内容随时间的变化情况。实验结果验证了该方法的有效性。     

DCD用于相关反馈的自然图像检索

基于内容的图像检索是多媒体应用研究领域的一项关键技术.传统的CBIR系统一般采用基于图像的低级物理特征进行特征匹配,MPEG-7标准的提出为图像内容特征的提取与描述提供了一种新型简便的方法,本文讨论了应用MPEG-7的主体颜色描述符DCD对图像特征提取和表示的方法,并在图像检索中的应用研究基础之上,提出了在使用相关反馈的图像检索中的改进方案,实现了基于DCD特征描述的自然图像检索.对于1350幅的数字图象组成的数据集进行了实验,并对实验结果进行分析,大部分结果是令人满意的,提高了基于内容的图像检索的精度.     

Analyzing scenery images by monotonic tree

Content-based image retrieval (CBIR) has been an active research area in the last ten years, and a variety of techniques have been developed. However, retrieving images on the basis of low-level features has proven unsatisfactory, and new techniques are needed to support high-level queries. Research efforts are needed to bridge the gap between high-level semantics and low-level features. In this paper, we present a novel approach to support semantics-based image retrieval. Our approach is based on the monotonic tree, a derivation of the contour tree for use with discrete data. The structural elements of an image are modeled as branches (or subtrees) of the monotonic tree. These structural elements are classified and clustered on the basis of such properties as color, spatial location, harshness and shape. Each cluster corresponds to some semantic feature. This scheme is applied to the analysis and retrieval of scenery images. Comparisons of experimental results of this approach with conventional techniques using low-level features demonstrate the effectiveness of our approach.     

融合多特征的深度学习标注方法

缩小图像低层视觉特征与高层语义之间的鸿沟,以提高图像语义自动标注的精度,是研究大规模图像数据管理的关键。提出一种融合多特征的深度学习图像自动标注方法,将图像视觉特征以不同权重组合成词包,根据输入输出变量优化深度信念网络,完成大规模图像数据语义自动标注。在通用Corel图像数据集上的实验表明,融合多特征的深度学习图像自动标注方法,考虑图像不同特征的影响,提高了图像自动标注的精度。     

Visual Ontology Construction for Digitized Art Image Retrieval

Current investigations on visual information retrieval are generally content-based methods. The significant difference between similarity in low-level features and similarity in high-level semantic meanings is still a major challenge in the area of image retrieval. In this work, a scheme for constructing visual ontology to retrieve art images is proposed. The proposed ontology describes images in various aspects, including type ＆ style, objects and global perceptual effects. Concepts in the ontology could be automatically derived. Various art image classification methods are employed based on low-level image features. Non-objective semantics are introduced, and how to express these semantics is given. The proposed ontology scheme could make users more naturally find visual information and thus narrows the “semantic gap”. Experimental implementation demonstrates its good potential for retrieving art images in a human-centered manner.     

基于情绪心理学的情感建模

基于情绪心理学的基本理论，定义了个性空间、情感空间和心情空间，建立了个性与心情、心情与情感的映射关系，给出了心情与情感状态更新方程，提出了一种能够合理反映人类情感变化规律的情感计算模型。实验表明，该模型能合理反映出在外界刺激作用下，不同个性者心情状态和情感状态的波动过程，为情感机器人的情感决策提供了一种新的机制。     

一种具有相关反馈的图像检索方法

图像底层特征和高层语义之间存在着巨大的语义鸿沟.受限于图像理解技术的发展水平和对认知的理解水平.目前,对图像语义的描述还无法由计算机自动建立.要克服语义鸿沟,需引入相关反馈机制.特征提取采用结合空间信息的颜色一致直方图方法,并建立了基于方差分析的权值调整方法进行反馈调节,有效地提高了图像检索准确率.