基于外部数据库的图像自动标注改善模型

针对图像标注中所使用数据集存在的数据不平衡问题,提出一种新的基于外部数据库的自动平衡模型。该模型先依据原始数据库中词频分布来找出低频点,再根据自动平衡模式,对每个低频词,从外部数据库中增加相应的图片;然后对图片进行特征提取,对Corel 5k数据集中的47065个视觉词汇和从外部数据库中追加的图片中提取出来的996个视觉词汇进行聚类;最后利用基于外部数据库的图像自动标注改善模型对图像进行标注。此方法克服了图像标注中数据库存在的不平衡问题,使得至少被正确标注一次的词的数量、精确率和召回率等均明显提高。     

基于判别模型与生成模型的层叠图像自动标注

图像自动标注是模式识别与计算机视觉等领域中重要而又具有挑战性的问题.针对现有模型存在数据利用率低与易受正负样本不平衡影响等问题,提出了基于判别模型与生成模型的新型层叠图像自动标注模型.该模型第一层利用判别模型对未标注图像进行主题标注,获得相应的相关图像集;第二层利用提出的面向关键词的方法建立图像与关键词之间的联系,并使用提出的迭代算法分别对语义关键词与相关图像进行扩展;最后利用生成模型与扩展的相关图像集对未标注图像进行详细标注.该模型综合了判别模型与生成模型的优点,通过利用较少的相关训练图像来获得更好的标注结果.在Corel 5K图像库上进行的实验验证了该模型的有效性.     

基于作者主题模型的遥感图像自动类别标注方法

以概率图模型为基础,提出一种基于作者主题模型ATM(Author Topic Model)的多光谱遥感图像类别标注方法。该方法采用了一种新的基于颜色和形状特征的描述符,并结合ATM对遥感图像进行类别标注。首先采用一组定义了语义鸿沟的图像作为训练图像,然后采用基于颜色和形状特征的视觉单词描绘训练图像,最后结合ATM对遥感图像进行类别标注。通过对实际的遥感图像进行类别标注验证,可以看出,所提出的基于ATM的遥感图像标注方法在区域类别较少的情况下具有较高的分类准确率。     

基于t混合模型的自动图像标注

图像自动标注的实质是通过对图像视觉特征的分析来提取高层语义关键词用于表示图像的含义,从而使得现有图像检索问题转化为技术已经相当成熟的文本检索问题,在一定程度上解决了基于内容图像检索中存在的语义鸿沟问题.采用t混合模型在已标注好的训练图像集上计算图像区域类与关键字的联合概率分布,在此基础上,对未曾观察过的测试图像集,利用生成的模型根据贝叶斯最小错误概率准则实现自动图像标注.实验结果表明,该方法能有效改善标注结果.     

基于词频同现与WordNet的图像自动标注改善算法研究

图像自动标注是模式识别与计算机视觉等领域中的重要问题。针对现有图像自动标注模型普遍受到语义鸿沟问题的影响,提出了基于关键词同现的图像自动标注改善方法,该方法利用数据集中标注词间的关联性来改善图像自动标注的结果。此外,针对上述方法不能反映更广义的人的知识以及易受数据库规模影响等问题,提出了基于语义相似的图像自动标注改善方法,通过引入具有大量词汇、包含了人知识的结构化电子词典WordNet来计算词汇间的关系并改善图像自动标注结果。实验结果表明,提出的两个图像自动标注改善方法在各项评价指标上相比以往模型均有所提高。     

基于高斯混合模型的自动图像标注方法

为了进一步完善自动图像标注方法,提出基于高斯混合模型的自动图像标注方法。该方法通过建立每个关键词唯一的高斯混合模型(GMM),准确地描述关键词的语义内容,进而提高自动图像标注的精确性。最后,通过采用COREL图像数据集与不同方法的比较,从平均查准率、平均查全率的实验结果验证了该方法的有效性。     

基于概念索引的图像自动标注

在基于内容的图像检索中,建立图像底层视觉特征与高层语义的联系是个难题.一个新的解决方法是按照图像的语义内容进行自动标注.为了缩小语义差距,采用基于支持向量机(SVM)的多类分类器为空间映射方法,将图像的底层特征映射为具有一定高层语义的模型特征以实现概念索引,使用的模型特征为多类分类的结果以概率形式组合而成.在模型特征组成的空间中,再使用核函数方法对关键词进行了概率估计,从而提供概念化的图像标注以用于检索.实验表明,与底层特征相比,使用模型特征进行自动标注的结果F度量相对提高14%.     

基于图像分割的图像破损区域自动标注和修复

数字图像修复技术是指根据一定的规则,对局部区域有数据丢失或缺损的图像进行处理,以恢复图像原貌.在修复前先要对图像缺损区域标注,这项工作通常用人工完成.本文首先介绍了近年来图像分割算法,分析各自的特性,接着提出了利用图像分割算法实现对破损区域的自动提取并标注的思想,有效提高图像修复的效率.     

自动图像标注技术综述

图像自动标注技术是减少图像数据与内容之间“语义鸿沟”的其中一种最有效途径,对于帮助人类理解图像内容,从海量图像数据中检索感兴趣的信息具有重要现实意义.通过研究近20年公开发表的图像标注文献,总结了图像标注模型的一般性框架;并通过该框架结合各种具体工作,分析出在图像标注研究过程中需要解决的一般性问题;将各种图像标注模型所采用的主要方法归为9种类型,分别为相关模型、隐Markov模型、主题模型、矩阵分解模型、近邻模型、基于支持向量机的模型、图模型、典型相关分析模型以及深度学习模型,并对每种类型的图像标注模型,按照“基本原理介绍—具体模型差异—模型总结”3个层面进行了研究与分析.此外,总结了图像标注模型常用的一些数据集、评测指标,对一些比较著名的标注模型的性能进行了比较,并据此对各种类型的标注模型做了优缺点分析.最后,提出了图像标注领域一些开放式问题和研究方向.     

基于Google与Baidu自动采集与标注Web图像

针对日益丰富的网上图像资源,给出了一种基于Google与Baidu的Web图像自动采集的实现方法,构架了一种海量Web图像资源自动获取与语义标注模式,在各种图像库的建立和基于语义的图像检索上能有较好的应用。     

基于HMM的自动图像标注方法

自动图像标注技术已经成为弥补"语义鸿沟"的一种有效途径.提出基于隐马尔科夫模型HMM(Hidden Markov Model)的自动图像标注方法,不仅有效地挖掘关键词的语义视觉特征分布,从而建立图像-关键词的对应关系;而且通过融合关键词的共生关系,高效地获取关键词-关键词的语义关联.为此,建立图像-关键词与关键词-关键词的多视角相关模型,有助于解决自动图像标注任务.最后,在COREL图像数据集上的一系列实验结果,验证了提出方法的有效性.     

基于决策融合的图像自动标注方法

结合多媒体描述接口（MPEG-7）和MM（Mixture Model）混合模型,实现了基于决策融合的图像自动标注。在图像标注过程中,分别利用颜色描述子和纹理描述子为每个主题下的图像建立MM混合模型,实现低层视觉特征到高层语义空间的映射,利用局部决策融合方式融合在颜色和纹理MM混合模型下的标注结果,实现图像自动标注。通过在corel图像数据集上的实验,表明提出的局部决策融合方式能更充分利用图像的颜色和纹理信息,提高了图像标注性能。     

面向图像自动语句标注的注意力反馈模型

图像自动语句标注利用计算机自动生成描述图像内容的语句,在服务机器人等领域有广泛应用.许多学者已经提出了一些基于注意力机制的算法,但是注意力分散问题以及由注意力分散引起的生成语句错乱问题还未得到较好解决.在传统注意力机制的基础上引入注意力反馈机制,利用关注信息的图像特征指导文本生成,同时借助生成文本中的关注信息进一步修正图像中的关注区域,该过程不断强化图像和文本中的关键信息匹配、优化生成的语句.针对常用数据集Flickr8k, Flickr30k和MSCOCO的实验结果表明,该模型在一定程度上解决了注意力分散和语句顺序错乱问题,比其他基于注意力机制方法标注的关注区域更加准确,生成语句更加通顺.     

基于核密度估计的图像自动标注方法

提出一种基于概率模型的图像自动语义标注方法,将图片自动标注看作一个多类分类问题,通过无参数的核密度估计,实现用含有共同标注词的图片组估计视觉特征和相应标注词之间关系的机制。选取表达能力较好的基于CPAM的视觉特征,无须对图像进行语义分割处理,有效提高核密度估计的效率。在基准数据集上进行实验,结果表明,该模型能够获得比当前其他相关方法更好的标注性能。     

基于视觉语义主题的图像自动标注

为减小图像检索中语义鸿沟的影响,提出了一种基于视觉语义主题的图像自动标注方法.首先,提取图像前景与背景区域,并分别进行预处理;然后,基于概率潜在语义分析与高斯混合模型建立图像底层特征、视觉语义主题与标注关键词间的联系,并基于该模型实现对图像的自动标注.采用corel 5数据库进行验证,实验结果证明了本文方法的有效性.     

基于深度学习的图像自动标注算法

图像的自动标注是图像检索领域一项基础而又富有挑战性的任务。深度学习算法自提出以来在图像和文本识别领域取得了巨大的成功,是一种解决"语义鸿沟"问题的有效方法。图像标注问题可以分解为基于图像与标签相关关系的基本图像标注和基于标注词汇共生关系的标注改善两个过程。文中将基本图像标注问题视为一个多标记学习问题,图像的标签先验知识作为深度神经网络的监督信息。在得到基本标注词汇的基础上,利用原始图像标签词汇的依赖关系与先验分布改善了图像的标注结果。最后将所提出的改进的深度学习模型应用于Corel和ESP图像数据集,验证了该模型框架及所提出的解决方案的有效性。     

基于相关视觉关键词的图像自动标注方法研究

图像自动标注是计算机视觉与模式识别等领域中的重要问题.针对现有模型未对文本关键词的视觉描述形式进行建模,导致标注结果中大量出现与图像视觉内容无关的标注词等问题,提出了基于相关视觉关键词的图像自动标注模型VKRAM.该模型将标注词分为非抽象标注词与抽象标注词.首先建立非抽象标注词的视觉关键词种子,并提出了一个新方法抽取非抽象标注词对应的视觉关键词集合;接着根据抽象关键词的特点,运用提出的基于减区域的算法抽取抽象关键词对应的视觉关键词种子与视觉关键词集合;然后提出一个自适应参数方法与快速求解算法用于确定不同视觉关键词的相似度阈值;最后将上述方法相结合并用于图像自动标注中.该模型能从一定程度上解决标注结果中出现的大量无关标注词问题.实验结果表明,该模型在大多数指标上相比以往模型均有所提高.     

图像与视频自动标注最新进展

近年来,图像与视频自动标注技术成为多媒体信息处理领域的一个研究热点并且发展迅速。重点介绍此领域研究的最新进展。将这些新方法分为两类:基于学习的标注方法和基于搜索的标注方法,分别介绍了各个算法的基本思想和优缺点。然后,介绍了一些目前流行的商业的和研究性的图像检索及标注系统。最后,提出了自动标注技术的进一步研究方向。     

基于本体的图像自动标注

提出一种新的图像本体标注的框架,结合领域本体中概念的关系,通过层次概率标注来获得图像高层语义概念的标注,实现待标注图像语义的自动标注。我们将图像的语义可以定义为属性概念和高层抽象概念,采用二次标注方法实现对于图像语义的自动标注。实验证明,本文的方法可以使图像获得丰富的高层抽象语义概念标注,从而缩小"语义鸿沟",有效提高了检索的效率和精确度。     

图像语义自动标注及其粒度分析方法

缩小图像低层视觉特征与高层语义之间的鸿沟, 以提高图像语义自动标注的精度, 进而快速满足用户检索图像的需求,一直是图像语义自动标注研究的关键. 粒度分析方法是一种层次的、重要的数据分析方法, 为复杂问题的求解提供了新的思路. 图像理解与分析的粒度不同, 图像语义标注的精度则不同, 检索的效率及准确度也就不同. 本文对目前图像语义自动标注模型的方法进行综述和分析, 阐述了粒度分析方法的思想、模型及其在图像语义标注过程中的应用, 探索了以粒度分析为基础的图像语义自动标注方法并给出进一步的研究方向.