考虑视觉焦点权重和词相关性的图像标注方法

为了弥补图像底层特征到高层语义之间的语义鸿沟,提出一种基于视觉焦点权重模型和词相关性的图像标注方法。由于人们对图像的认识过程中,对焦点区域有比较多的关注,因此可以通过视觉焦点权重模型计算图像各区域的视觉焦点权重来提取图像的焦点区域。同时焦点区域的标注词和其他区域的标注词在逻辑上是相关的,因此通过WordNet根据词汇相关性确定图像的最终标注向量。实验结果表明,通过该方法能提高图像自动语义标注的准确率。     

基于视觉语义主题的图像自动标注

为减小图像检索中语义鸿沟的影响,提出了一种基于视觉语义主题的图像自动标注方法.首先,提取图像前景与背景区域,并分别进行预处理;然后,基于概率潜在语义分析与高斯混合模型建立图像底层特征、视觉语义主题与标注关键词间的联系,并基于该模型实现对图像的自动标注.采用corel 5数据库进行验证,实验结果证明了本文方法的有效性.     

多模型融合的多标签图像自动标注

为了实现更为准确的复杂语义内容图像理解,提出一种融合多模型的多标签图像自动标注方法.该方法采用3个不同的模型分别对图像语义内容进行分析:在前景语义概念检测中,提出一种基于多特征的视觉显著性分析方法,并利用多Nystrm近似核对前景对象的语义进行判别分析;对于背景概念检测,提出一种区域语义分析的方法;通过构造基于潜语义分析的语义相关矩阵来消除标注错误的标签.根据前景和背景的语义和视觉特征,分别采用不同的模型提取前景和背景标注词,而语义相关分析能够有效地提高标注的准确性.实验结果表明,该多模型融合标注方法在图像的深层语义分析以及多标签标注方面具有较好的效果;与同类算法相比,能够有效地减少错误标注的标签数目,得到更加准确的标注结果.     

基于概念索引的图像自动标注

在基于内容的图像检索中,建立图像底层视觉特征与高层语义的联系是个难题.一个新的解决方法是按照图像的语义内容进行自动标注.为了缩小语义差距,采用基于支持向量机(SVM)的多类分类器为空间映射方法,将图像的底层特征映射为具有一定高层语义的模型特征以实现概念索引,使用的模型特征为多类分类的结果以概率形式组合而成.在模型特征组成的空间中,再使用核函数方法对关键词进行了概率估计,从而提供概念化的图像标注以用于检索.实验表明,与底层特征相比,使用模型特征进行自动标注的结果F度量相对提高14%.     

一种新的图像语义自动标注模型

根据图像低层特征和高级语义间的对应关系,自动进行图像语义标注是目前图像检索系统研究的热点。简要介绍了基于图像语义连接网络的图像检索框架,提出了一种基于该框架的图像自动标注模型。该模型通过积累用户反馈信息,学习并获得图像语义,从而进行自动的图像标注。图像语义及标注可以在与用户交互过程中得到实时更新。还提出了一种词义相关度分析的方法剔除冗余标注词,解决标注误传播的问题。通过在Corel图像集上的对比实验,验证了该方法的有效性。     

基于互联网搜索与反馈验证的图像自动标注

基于网页的图像自动标注存在图像与文本的关联假设问题,而基于内容的方法则存在数据规模小的问题。为此,将基于内容和基于网页的自动标注方法相结合,提出基于互联网搜索和反馈验证的图像自动标注方法。利用网页关联文本从互联网搜索结果中提取候选标注词,根据候选标注词在搜索得到图片的内容特征进行反馈验证。实验结果表明,该方法具有大规模标注能力,准确率比基于网页的图像自动标注方法提高了7.92%。     

融合多特征的深度学习标注方法

缩小图像低层视觉特征与高层语义之间的鸿沟,以提高图像语义自动标注的精度,是研究大规模图像数据管理的关键。提出一种融合多特征的深度学习图像自动标注方法,将图像视觉特征以不同权重组合成词包,根据输入输出变量优化深度信念网络,完成大规模图像数据语义自动标注。在通用Corel图像数据集上的实验表明,融合多特征的深度学习图像自动标注方法,考虑图像不同特征的影响,提高了图像自动标注的精度。     

基于Boosting学习的图片自动语义标注

图片自动语义标注是基于内容图像检索中很重要且很有挑战性的工作。本文提出了一种基于Boosting学习的图片自动语义标注方法，建立了一个图片语义标注系统BLIR（boosting for linguistic indexing image retrievalsystem）。假设一组具有同一语义的图像能够用一个由一组特征组合而成的视觉模型来表示。2D-MHMM（2维多分辨率隐马尔科夫模型）实际上就是一种颜色和纹理特殊组合的模板。BLIR系统首先生成大量的2D-MHMM模型，然后用Boosting算法来实现关键词与2D-MHMM模型的关联。在一个包含60000张图像的图库上实现并测试了这个系统。结果表明，对这些测试图像，BLIR方法比其他方法具有更高的检索正确率。     

场景语义树图像标注方法

自动图像标注是一项具有挑战性的工作,它对于图像分析理解和图像检索都有着重要的意义.在自动图像标注领域,通过对已标注图像集的学习,建立语义概念空间与视觉特征空间之间的关系模型,并用这个模型对未标注的图像集进行标注.由于低高级语义之间错综复杂的对应关系,使目前自动图像标注的精度仍然较低.而在场景约束条件下可以简化标注与视觉特征之间的映射关系,提高自动标注的可靠性.因此提出一种基于场景语义树的图像标注方法.首先对用于学习的标注图像进行自动的语义场景聚类,对每个场景语义类别生成视觉场景空间,然后对每个场景空间建立相应的语义树.对待标注图像,确定其语义类别后,通过相应的场景语义树,获得图像的最终标注.在Corel5K图像集上,获得了优于TM(translation model)、CMRM(cross media relevance model)、CRM(continous-space relevance model)、PLSA-GMM(概率潜在语义分析-高期混合模型)等模型的标注结果.     

融合语义主题的图像自动标注

由于语义鸿沟的存在,图像自动标注已成为一个重要课题.在概率潜语义分析的基础上,提出了一种融合语义主题的方法以进行图像的标注和检索.首先,为了更准确地建模训练数据,将每幅图像的视觉特征表示为一个视觉"词袋";然后设计一个概率模型分别从视觉模态和文本模态中捕获潜在语义主题,并提出一种自适应的不对称学习方法融合两种语义主题.对于每个图像文档,它在各个模态上的主题分布通过加权进行融合,而权值由该文档的视觉词分布的熵值来确定.于是,融合之后的概率模型适当地关联了视觉模态和文本模态的信息,因此能够很好地预测未知图像的语义标注.在一个通用的Corel图像数据集上,将提出的方法与几种前沿的图像标注方法进行了比较.实验结果表明,该方法具有更好的标注和检索性能.     

Image modeling with combined optimization techniques for image semantic annotation

Image semantic annotation can be viewed as a multi-class classification problem, which maps image features to semantic class labels, through the procedures of image modeling and image semantic mapping. Bayesian classifier is usually adopted for image semantic annotation which classifies image features into class labels. In order to improve the accuracy and efficiency of classifier in image annotation, we propose a combined optimization method which incorporates affinity propagation algorithm, optimizing training data algorithm, and modeling prior distribution with Gaussian mixture model to build Bayesian classifier. The experiment results illustrate that the classifier performance is improved for image semantic annotation with proposed method.     

基于分类融合和关联规则挖掘的图像语义标注

图像语义自动标注问题是现阶段一个具有挑战性的难题。在跨媒体相关模型基础上,提出了融合图像类别信息的图像语义标注新方法,并利用关联规则挖掘算法改善标注结果。首先对图像进行低层特征提取,用“视觉词袋”描述图像;然后对图像特征分别进行K-means聚类和基于支持向量机的多类别分类,得到图像相似性关系和类别信息;计算语义标签和图像之间的概率关系,并将图像类别信息作为权重融合到标签的统计概率中,得到候选标注词集;最后以候选标注词概率为依据,利用改善的关联规则挖掘算法挖掘文本关联度,并对候选标注词集进行等频离散化处理,从而得到最终标注结果。在图像集Corel上进行的标注实验取得了较为理想的标注结果。     

Image Annotation by Propagating Labels from Semantic Neighbourhoods

Automatic image annotation aims at predicting a set of semantic labels for an image. Because of large annotation vocabulary, there exist large variations in the number of images corresponding to different labels (“class-imbalance”). Additionally, due to the limitations of human annotation, several images are not annotated with all the relevant labels (“incomplete-labelling”). These two issues affect the performance of most of the existing image annotation models. In this work, we propose 2-pass k-nearest neighbour (2PKNN) algorithm. It is a two-step variant of the classical k-nearest neighbour algorithm, that tries to address these issues in the image annotation task. The first step of 2PKNN uses “image-to-label” similarities, while the second step uses “image-to-image” similarities, thus combining the benefits of both. We also propose a metric learning framework over 2PKNN. This is done in a large margin set-up by generalizing a well-known (single-label) classification metric learning algorithm for multi-label data. In addition to the features provided by Guillaumin et al. (2009) that are used by almost all the recent image annotation methods, we benchmark using new features that include features extracted from a generic convolutional neural network model and those computed using modern encoding techniques. We also learn linear and kernelized cross-modal embeddings over different feature combinations to reduce semantic gap between visual features and textual labels. Extensive evaluations on four image annotation datasets (Corel-5K, ESP-Game, IAPR-TC12 and MIRFlickr-25K) demonstrate that our method achieves promising results, and establishes a new state-of-the-art on the prevailing image annotation datasets.     

Cross-Modal Saliency Correlation for Image Annotation

Automatic image annotation is an attractive service for users and administrators of online photo sharing websites. In this paper, we propose an image annotation approach exploiting the crossmodal saliency correlation including visual and textual saliency. For textual saliency, a concept graph is firstly established based on the association between the labels. Then semantic communities and latent textual saliency are detected; For visual saliency, we adopt a dual-layer BoW (DL-BoW) model integrated with the local features and salient regions of the image. Experiments on MIRFlickr and IAPR TC-12 datasets demonstrate that the proposed method outperforms other state-of-the-art approaches.     

A Multi-View Embedding Space for Modeling Internet Images,Tags, and Their Semantics

This paper investigates the problem of modeling Internet images and associated text or tags for tasks such as image-to-image search, tag-to-image search, and image-to-tag search (image annotation). We start with canonical correlation analysis (CCA), a popular and successful approach for mapping visual and textual features to the same latent space, and incorporate a third view capturing high-level image semantics, represented either by a single category or multiple non-mutually-exclusive concepts. We present two ways to train the three-view embedding: supervised, with the third view coming from ground-truth labels or search keywords; and unsupervised, with semantic themes automatically obtained by clustering the tags. To ensure high accuracy for retrieval tasks while keeping the learning process scalable, we combine multiple strong visual features and use explicit nonlinear kernel mappings to efficiently approximate kernel CCA. To perform retrieval, we use a specially designed similarity function in the embedded space, which substantially outperforms the Euclidean distance. The resulting system produces compelling qualitative results and outperforms a number of two-view baselines on retrieval tasks on three large-scale Internet image datasets.     

一种适合弱标签数据集的图像语义标注方法

真实环境下数据集中广泛存在着标签噪声问题,数据集的弱标签性已严重阻碍了图像语义标注的实用化进程.针对弱标签数据集中的标签不准确、不完整和语义分布失衡现象,提出了一种适用于弱标签数据集的图像语义标注方法.首先,在视觉内容与标签语义的一致性约束、标签相关性约束和语义稀疏性约束下,通过直推式学习填充样本标签,构建样本的近似语义平衡邻域.鉴于邻域中存在噪声干扰,通过多标签语义嵌入的邻域最大边际学习获得距离测度和图像语义的一致性,使得近邻处于同一语义子空间.然后,以近邻为局部坐标基,通过邻域非负稀疏编码获得目标图像和近邻的部分相关性,并构建局部语义一致邻域.以邻域内的语义近邻为指导并结合语境相关信息,进行迭代式降噪与标签预测.实验结果表明了方法的有效性.     

基于连续预测的半监督学习图像语义标注

为了在图像底层特征与高层语义之间建立关系,提高图像自动标注的精确度,结合基于图学习的方法和基于分类的标注算法,提出了基于连续预测的半监督学习图像语义标注的方法,并对该方法的复杂度进行分析。该方法利用标签数据提供的信息和标签事例与无标签事例之间的关系,根据邻接点(事例)属于同一个类的事实,构建K邻近图。用一个基于图的分类器,通过核函数有效地计算邻接信息。在建立图的基础上,把经过划分后的样本节点集通过基于连续预测的多标签半监督学习方法进行标签传递。实验表明,提出的算法在图像标注中的标注词的平均查准率、平均查全率方面有显著的提高。     

使用基于SVM的否定概率和法的图像标注

在基于内容的图像检索中,建立图像底层视觉特征与高层语义的联系是个难题.对此提出了一种为图像提供语义标签的标注方法.先建立小规模图像库为训练集,库中每个图像标有单一的语义标签,再利用其底层特征,以SVM为子分类器,“否定概率和”法为合成方法构建基于成对耦合方式（PWC）的多类分类器,并对未标注的图像进行分类,结果以N维标注向量表示,实验表明,与一对多方式（OPC）的多类分类器及使用概率和法的PWC相比,“否定概率和”法性能更好.