FAC算法在图像检索中的应用

在自动标注系统中,底层特征转换成高层标注的准确度较低。为此,将自动标注系统中的底层视觉特征和社会标注系统中的高级语义相结合,提出一种新的图像语义标注算法——FAC算法。从自动标注系统和flickr网站用户中得到候选标注,利用图像标注推荐策略获取推荐标注,根据WordNet语义词典中的语义关系,精简出最终的标注集合。实验结果表明,与传统的自动标注算法相比,FAC算法的准确度较高。     

一种自适应的Web图像语义自动标注方法

提出了一种自适应的Web图像语义自动标注方法:首先利用Web标签资源自动获取训练数据;然后通过带约束的分段惩罚加权回归模型将关联文本权重分布自适应学习和先验知识约束有机地结合在一起,实现Web图像语义的自动标注.在4 000幅从Web获得的图像数据集上的实验结果验证了该文自动获取训练集方法以及Web图像语义标注方法的有效性.     

多模型融合的多标签图像自动标注

为了实现更为准确的复杂语义内容图像理解,提出一种融合多模型的多标签图像自动标注方法.该方法采用3个不同的模型分别对图像语义内容进行分析:在前景语义概念检测中,提出一种基于多特征的视觉显著性分析方法,并利用多Nystrm近似核对前景对象的语义进行判别分析;对于背景概念检测,提出一种区域语义分析的方法;通过构造基于潜语义分析的语义相关矩阵来消除标注错误的标签.根据前景和背景的语义和视觉特征,分别采用不同的模型提取前景和背景标注词,而语义相关分析能够有效地提高标注的准确性.实验结果表明,该多模型融合标注方法在图像的深层语义分析以及多标签标注方面具有较好的效果;与同类算法相比,能够有效地减少错误标注的标签数目,得到更加准确的标注结果.     

基于视觉和语义互学习的标签完备标注

大多数图像标签完备方法仅依据待完备图像的视觉特征搜索近邻图像,获取候选标签实现完备,往往忽略候选标签与初始标签隐含的语义和视觉关系.为有效完备图像标签,本文依据信息的相互学习机制提出一种基于视觉和语义互学习的标签完备标注方法.首先,依据待完备图像的视觉特征和初始标签语义,搜索其近邻图像集并获取候选标签;其次,根据候选标...     

基于SVM算法的图像自动标注

伴随着存储技术以及网络技术的飞速发展,以图像形式来表现大量有效信息成为有效手段。这样一来,怎样实现对海量图像库的有效检索和管理已经非常重要,而其中语义清晰又是重中之重。在图像自动标注技术中,基于图像底层视觉特征的标注技术能够完成,利用图像的底层特征中提取出高级语义信息来标注待标注图像。通过SVM(Support Vector Machine)支持向量机学习方法来自动获取图像高级语义信息关键字,来完成图像的自动标注具有深远的研究意义。     

弱标签环境下基于语义邻域学习的图像标注

图像语义自动标注是实现图像语义检索与管理的关键,是具有挑战性的研究课题.传统的图像标注方法需要具有完整、准确标签的数据集才能取得较好的标注性能.然而,在现实应用中获得数据的标签往往是不准确、不完整的,并且标签分布不均衡.对于Web图像和社会化图像尤其如此.为了更好地利用这些弱标签样本,提出了一种基于语义邻域学习的图像自动标注方法(semantic neighborhood learning from weakly labeled image,SNLWL).首先在邻域标签损失误差最小化意义下,填充训练集样本标签.通过递进式的邻域选择过程,保证建立的语义一致邻域内样本具有全局相似性、部分相关性和语义一致性,并且语义标签分布平衡.在邻域标签重构误差最小化意义下进行标签预测,降低噪声标签对性能的影响.多个数据集上的实验结果表明,与已知的具有较好标注效果的方法相比,此方法更适用于处理弱标签数据集,标准评测集上的测试也表明了此方法的有效性.     

基于MATLAB/GUI的图像语义自动标注系统

图像语义自动标注系统对大量图像数据库的图像检索起到重要的作用,并能将图像的视觉特征转化为图像的标注字信息,给检索用户带来了很大的便利。文中研究了图像自动语义标注系统的实现及有关技术,通过matlab中GUI的图形用户界面设计并实现了图像自动标注系统,该系统能较好的实现图像轮廓与颜色特征的提取。提取图像轮廓是由颜色空间来获取整体轮廓,该方法对于颜色变化比较明显的图像可以很好的提取轮廓。结合颜色特征与图像轮廓进行相似度量,从而较好的将待标注图像分类,采用特征点匹配标注图像语义关键词能够比较准确的对图像进行标注。     

基于可判别超平面树的生成模型图像标注方法

图像语义的自动标注是一个具有挑战性的研究课题,目前常见的机器学习方法,如统计生成模型(generative model)与判别模型(discriminative model)都被用于该问题的研究中.然而由于语义鸿沟的存在、图像训练数据的不平衡性以及图像标注的多标签特性等问题,使得上述方法的性能都有待进一步提高.提出一种基于可判别超平面树的生成模型图像标注方法.该方法根据待标注目标图像的高生成概率邻域,建立局部超平面分类树,进而利用同层类间可判别信息,按自顶向下的层次分类得到待标注图像的语义相关图像集合.由此得到的相关类信息与新的生成模型框架相结合对待标注图像与语义关键词的联合概率进行估计,实现对目标图像的标注.其特点在于生成模型与判别模型方法得到了有效结合,可判别超平面树对隐含语义聚类的判别分析是对待标注图像的生成"邻域"的逐步求精过程,有效地提高了生成模型标注准确度;而对于判别分析难以解决的多标签分类、训练数据不平衡等问题,此方法通过联合概率估计自然地实现目标图像的多标签分配.在常用的包含5 000幅图像的ECCV2002数据集进行了实验,结果表明,与目前已知的具有较好标注效果的基于生成模型的MBRM模型(采用图像分割方法)以及基于辨别分析的ASVM-MIL相比,此方法的F1因子分别提高了14%和13%.     

基于多标签判别字典学习的图像自动标注

针对图像自动标注中底层视觉特征与高层语义之间的语义鸿沟问题,在传统字典学习的基础上,提出一种基于多标签判别字典学习的图像自动标注方法。首先,为每幅图像提取多种类型特征,将多种特征组合作为字典学习输入特征空间的输入信息;然后,设计一个标签一致性正则化项,将原始样本的标签信息融入到初始的输入特征数据中,结合标签一致性判别字典和标签一致性正则化项进行字典学习;最后,通过得到的字典和稀疏编码矩阵求解标签稀疏编向量,实现未知图像的语义标注。在Corel 5K数据集上测试其标注性能,所提标注方法平均查准率和平均查全率分别可达到35%和48%;与传统的稀疏编码方法（MSC）相比,分别提高了10个百分点和16个百分点;与距离约束稀疏/组稀疏编码方法（DCSC/DCGSC）相比,分别提高了3个百分点和14个百分点。实验结果表明,所提方法能够较好地预测未知图像的语义信息,与当前几种流行的图像标注方法进行比较,所提方法具有较好的标注性能。     

融合深度特征和语义邻域的自动图像标注*

传统图像标注方法中人工选取特征费时费力,传统标签传播算法忽视语义近邻,导致视觉相似而语义不相似,影响标注效果.针对上述问题,文中提出融合深度特征和语义邻域的自动图像标注方法.首先构建基于深度卷积神经网络的统一、自适应深度特征提取框架,然后对训练集划分语义组并建立待标注图像的邻域图像集,最后根据视觉距离计算邻域图像各标签的贡献值并排序得到标注关键词.在基准数据集上实验表明,相比传统人工综合特征,文中提出的深度特征维数更低,效果更好.文中方法改善传统视觉近邻标注方法中的视觉相似而语义不相似的问题,有效提升准确率和准确预测的标签总数.     

Interactive semantics

Much research pursues machine intelligence through better representation of semantics. What is semantics? People in different areas view semantics from different facets although it accompanies interaction through civilization. Some researchers believe that humans have some innate structure in mind for processing semantics. Then, what the structure is like? Some argue that humans evolve a structure for processing semantics through constant learning. Then, how the process is like? Humans have invented various symbol systems to represent semantics. Can semantics be accurately represented? Turing machines are good at processing symbols according to algorithms designed by humans, but they are limited in ability to process semantics and to do active interaction. Super computers and high-speed networks do not help solve this issue as they do not have any semantic worldview and cannot reflect themselves. Can future cyber-society have some semantic images that enable machines and individuals (humans and agents) to reflect themselves and interact with each other with knowing social situation through time? This paper concerns these issues in the context of studying an interactive semantics for the future cyber-society. It firstly distinguishes social semantics from natural semantics, and then explores the interactive semantics in the category of social semantics. Interactive semantics consists of an interactive system and its semantic image, which co-evolve and influence each other. The semantic worldview and interactive semantic base are proposed as the semantic basis of interaction. The process of building and explaining semantic image can be based on an evolving structure incorporating adaptive multi-dimensional classification space and self-organized semantic link network. A semantic lens is proposed to enhance the potential of the structure and help individuals build and retrieve semantic images from different facets, abstraction levels and scales through time.     

A formal framework for image indexing with triples: Toward a concept-based image retrieval

This paper provides a formal specification for concept-based image retrieval using triples. To effectively manage a vast amount of images, we may need an image retrieval system capable of indexing and searching images based on the characteristics of their content. However, such a content-based image retrieval technique alone may not satisfy user queries if retrieved images turn out to be relevant only when they are conceptually related with the queries. In this paper, we develop an image retrieval mechanism to extract semantics of images based on triples. The semantics can be captured by deriving concepts from its constituent objects and spatial relationships between them. The concepts are basically composite objects formed from the aggregation of the constituents. In our mechanism, all the spatial relationships between objects including the concepts are uniformly represented by triples, which are used for indexing images as well as capturing their semantics. We also develop a query evaluation for supporting the concept-based image retrieval. ©1999 John Wiley & Sons, Inc.     

改进的概率神经网络的语义区域分类

针对彩色图像信息量大,分割效果自适应性差的问题,对图像语义区域的分割精度进行控制,提取图像的纹理特征值,再通过改进后的概率神经网络模型对测试样本做分类测试,达到提高图像语义提取和分类准确性的目的。实验表明,改进后的概率神经网络对彩色图像语义区域分类的正确性由原先的70%提高到90%,具有较好的分类效果。     

结合Web背景知识的图像语义标注

针对基于内容的图像语义标注方法中,相同或相近视觉特征对应语义可能不同的情况,提出了一个结合Web背景知识的图像语义关联模型,利用从Web页面中提取的与图像相关的属性,计算Web图像与标注关键词间的语义相关性,确定待标注Web图像的语义,实验表明该方法具有较好的性能。     

基于复杂性网络的图像检索语义保存研究

目前多数基于内容的图像检索研究是在如何理解图像的内容,挖掘图像内容的特征,并组织这些特征用于图像检索上。检索得到的结果往往丢弃不顾,不能用于未来相似语义图像的检索。提出了一种新颖的基于语义保存的图像检索方案：将检索得到的多个相似图像组成相似图像网络,并运用复杂性网络的子网络分割方法,划分出语义子网络,找出语义概念并保存;检索未来相似内容的图像只需匹配保存的图像语义概念。实验表明,检索后得到的图像网络具有小世界网络的特征;保存的图像语义能准确地匹配相似语义内容图像,并能极大地加快检索相似语义图像。     

融合社会关系的社交网络情感分析综述

随着以用户为中心的Web 2.0的发展,社交网络平台以惊人的影响力渗入到生活的方方面面,对社交网络中的内容进行情感分析已经成为热点研究课题.Twitter、新浪微博等在线社交网站吸引了大量用户,通过用户间的交互,产生了许多包含用户间社会关系的信息,并且这些社会关系被广泛应用于社交网络的情感分析.融合社会关系的社交网络情...     

利用Ontology改进的自动化图像标注方法

图像检索系统大多是利用图像的底层特征如颜色、纹理和图像来分析图像,没有考虑图像内容及其对象的内容语义,导致对图像的理解不佳.为使系统能更准确的理解图像中的对象及其深层语义,分析了目前图像标注的优缺点,提出了一种以底层特征为基础,利用本体论建构的知识辅助计算机分析图像中实体对象,判断对象与对象间在现实世界中存在的合理相关性,进而对图像进行标注.实验结果显示加入本体论辅助标注图像大大提高了图像识别的准确性.     

结合深度特征和信息量的三维模型标注方法

针对三维模型语义检索应用,提出一种三维模型语义自动标注方法,建立三维模型内容特征和语义特征之间的映射关系。首先,利用基于深度信息的特征提取方法计算三维模型形状特征描述符,在单位立方体的六个面上正交投影后获取六幅深度缓存图像,提取图像二维傅立叶变换后的270维低频系数作为三维模型内容特征。其次,针对语义词汇之间相似度计算需要,提出一种语义相似度计算方法,采用本体层次结构的深度、宽度、同义词集密度信息计算词汇信息量,定义语义词汇间的信息量关系,得到语义相似度。再次,利用语义排歧策略消除语义词汇二义性,提高语义词汇相似度计算的准确性。最后,融合三维模型内容特征相似度计算和本体语义相似度计算方法,利用样本库中相似模型包含的词汇概率信息和模型内容相似度值,计算待标注模型的语义描述信息。通过模型标注实验,验证了该方法的准确性。     

基于视觉相似性的中文古籍内容检索方法

人类文化遗产的数字化应用是数字图书馆计划的重要组成部分.目前,数字化手书中文古籍尚缺乏有效的内容检索手段.提出了一种基于视觉相似性的计算机古籍内容检索方法,研制出关键支撑技术.该方法提取视觉对象的形态特征、全局位置特征和页面特征,采用高维空间索引技术组织形态特征构成的特征空间,完成视觉相似对象的快速检索,定义精度控制参数,动态调整由形态到语义的映射,借助约束验证技术提高一组相关对象的检索精度.原型系统证实了新方法的可行性,获得了直接在数字化图像上自动完成古籍内容检索的技术效果.     

ICICLE: A semantic-based retrieval system for WWW images

In this paper, we present ICICLE (Image ChainNet and Incremental Clustering Engine), a prototype system that we have developed to efficiently and effectively retrieve WWW images based on image semantics. ICICLE has two distinguishing features. First, it employs a novel image representation model called Weight ChainNet to capture the semantics of the image content. A new formula, called list space model, for computing semantic similarities is also introduced. Second, to speed up retrieval, ICICLE employs an incremental clustering mechanism, ICC (Incremental Clustering on ChainNet), to cluster images with similar semantics into the same partition. Each cluster has a summary representative and all clusters' representatives are further summarized into a balanced and full binary tree structure. We conducted an extensive performance study to evaluate ICICLE. Compared with some recently proposed methods, our results show that ICICLE provides better recall and precision. Our clustering technique ICC facilitates speedy retrieval of images without sacrificing recall and precision significantly.