图像自动标注技术研究进展

现有图像自动标注技术算法可以大致划分为基于语义的标注算法、基于矩阵分解的标注算法、基于概率的标注算法以及基于图学习的标注算法等四大类。介绍了各类别中具有代表性的图像自动标注算法,分析了这些算法的问题模型及其功能特点,并归纳了图像自动标注算法中主要的优化求解方法及算法评价中常用的图像数据集和性能评价指标。最后,指出了图像自动标注技术目前存在的主要问题,并且提出了这些问题的解决思路。分析结果表明,对于图像自动标注技术的研究,可充分利用现有算法的优势互补,或借助多学科交叉的优势,寻找更有效的算法。     

自动图像标注技术综述

图像自动标注技术是减少图像数据与内容之间“语义鸿沟”的其中一种最有效途径,对于帮助人类理解图像内容,从海量图像数据中检索感兴趣的信息具有重要现实意义.通过研究近20年公开发表的图像标注文献,总结了图像标注模型的一般性框架;并通过该框架结合各种具体工作,分析出在图像标注研究过程中需要解决的一般性问题;将各种图像标注模型所采用的主要方法归为9种类型,分别为相关模型、隐Markov模型、主题模型、矩阵分解模型、近邻模型、基于支持向量机的模型、图模型、典型相关分析模型以及深度学习模型,并对每种类型的图像标注模型,按照“基本原理介绍—具体模型差异—模型总结”3个层面进行了研究与分析.此外,总结了图像标注模型常用的一些数据集、评测指标,对一些比较著名的标注模型的性能进行了比较,并据此对各种类型的标注模型做了优缺点分析.最后,提出了图像标注领域一些开放式问题和研究方向.     

大规模图像语义相关性自动标注

针对大规模图像集合的自动标注问题,提出一种图像语义相关性自动标注方法.首先提取图像的视觉特征,将每个样本表示为局部邻域样本点的稀疏线性组合;然后采用一种基于最大后验概率准则的多标签学习方法得到每幅图像的单特征标签相关度;最终对单个特征和特定标签的相关度阈值进行无偏估计,并采用无监督组合方法融合多种视觉特征和标签的相关度.互联网数据集测试结果表明,该方法是有效的.     

图像自动语义标注技术综述

近年来,随着对基于内容图像检索技术研究的深入,图像自动语义标注已成为了该领域的研究热点。针对目前广泛研究的图像语义标注技术,从其分类、关键技术、存在问题及发展方向进行了进行了论述,以期为从事该方向研究的人员提供一定的借鉴意义和参考价值。     

一种自适应的Web图像语义自动标注方法

提出了一种自适应的Web图像语义自动标注方法:首先利用Web标签资源自动获取训练数据;然后通过带约束的分段惩罚加权回归模型将关联文本权重分布自适应学习和先验知识约束有机地结合在一起,实现Web图像语义的自动标注.在4 000幅从Web获得的图像数据集上的实验结果验证了该文自动获取训练集方法以及Web图像语义标注方法的有效性.     

基于卷积神经网络的多标签图像自动标注

如今生活中,图像资源无处不在,海量的图像让人应接不暇。如何快速有效地对这些图像信息进行查询、检索和组织,成为了当前亟需解决的热门问题。而图像自动标注是解决基于文本的图像检索的关键。文中提出的这套基于深度学习模型中的卷积神经网络模型的多标签图像自动标注系统,实现了多标签损失排名函数,完成了多标签数据的训练与测试。在实验验证上,先选取CIFAR-10数据集进行算法的有效性测试,然后选取多标签图像数据集Corel 5k进行定量测试比较,结果表明,该算法的综合性能指标与现有算法相比有较大的提升。     

一种病理图像自动标注的机器学习方法

病理图像能够揭示疾病的原因及严重程度,在临床诊断中有重要应用.病理图像中局部区域与病理特性之间不明确的对应关系为建立计算机辅助诊断模型带来了困难.基于全局图像特征表达和等分小块等方法难以有效表达病理特性的局部性.提出一种基于多示例多标签学习的活检病理图像自动标注框架,对病理特性的局部性进行表达.通过带区域约束条件的分割算法把病理图像划分为若干视觉上不连续的区域,对区域进行基于纹理和内部结构的特征提取,把病理图像转化为多示例样本,在此基础上提出一种基于贝叶斯学习的多示例多标签稀疏集成算法.在本地大型三甲医院的皮肤科活检样本数据集上进行方法有效性评估,结果表明该方法能得到医学上可接受的标注准确率,从而说明其有效性.     

基于多标签判别字典学习的图像自动标注

针对图像自动标注中底层视觉特征与高层语义之间的语义鸿沟问题,在传统字典学习的基础上,提出一种基于多标签判别字典学习的图像自动标注方法。首先,为每幅图像提取多种类型特征,将多种特征组合作为字典学习输入特征空间的输入信息;然后,设计一个标签一致性正则化项,将原始样本的标签信息融入到初始的输入特征数据中,结合标签一致性判别字典和标签一致性正则化项进行字典学习;最后,通过得到的字典和稀疏编码矩阵求解标签稀疏编向量,实现未知图像的语义标注。在Corel 5K数据集上测试其标注性能,所提标注方法平均查准率和平均查全率分别可达到35%和48%;与传统的稀疏编码方法（MSC）相比,分别提高了10个百分点和16个百分点;与距离约束稀疏/组稀疏编码方法（DCSC/DCGSC）相比,分别提高了3个百分点和14个百分点。实验结果表明,所提方法能够较好地预测未知图像的语义信息,与当前几种流行的图像标注方法进行比较,所提方法具有较好的标注性能。     

自动图像标注技术研究进展

近年来,自动图像标注(Automatic Image Annotation,AIA)技术已经成为图像语义理解研究领域的热点。其基本思想是利用已标注图像集或其他可获得的信息自动学习语义概念空间与视觉特征空间的潜在关联或者映射关系,来预测未知图像的标注。随着机器学习理论的不断发展,包括相关模型、分类器模型等不同的学习模型已经被广泛地应用于自动图像标注研究领域。现有的自动图像标注算法可以大致分为基于分类的标注算法、基于概率关联模型的标注算法以及基于图学习的标注算法等三大类。首先根据自动图像标注算法的特征提取及表示机制不同,将现有算法划分为基于全局特征和基于区域划分的自动图像标注方法。其次,在基于区域划分的自动图像标注算法中,按照学习算法的不同,将其划分为基于分类的标注方法、基于概率关联模型的标注方法以及基于图学习的标注方法,并分别介绍各类别中具有代表性的标注算法及其优缺点。然后给出了自动图像标注最新的研究进展,最后探讨自动图像标注的进一步研究方向。     

基于迁移学习与多标签平滑策略的图像自动标注

针对图像标注数据集标签分布不平衡问题,提出了基于标签平滑策略的多标签平滑单元（MLSU）。MLSU在网络模型训练过程中自动平滑数据集中的高频标签,使网络适当提升了低频标签的输出值,从而提升了低频标注词的标注性能。为解决图像标注数据集样本数量不足造成网络过拟合的问题,提出了基于迁移学习的卷积神经网络（CNN）模型。首先利用互联网上的大型公共图像数据集对深度网络进行预训练,然后利用目标数据集对网络参数进行微调,构建了一个多标签平滑卷积神经网络模型（CNN-MLSU）。分别在Corel5K和IAPR TC-12图像标注数据集上进行实验,在Corel5K数据集上,CNN-MLSU较卷积神经网络回归方法（CNN-R）的平均准确率与平均召回率分别提升了5个百分点和8个百分点;在IAPR TC-12数据集上,CNN-MLSU较两场K最邻近模型（2PKNN_ML）的平均召回率提升了6个百分点。实验结果表明,基于迁移学习的CNN-MLSU方法能有效地预防网络过拟合,同时提升了低频词的标注效果。     

基于多示例学习的图像标注方法

随着数码产品,移动智能设备以及存储设备的普及,大数据时代已经来临,如何对海量数据进行有效的组织、管理、存储成为科研以及商业领域急需解决的问题,在图像数据挖掘当中,图像标注分类是当前比较热门的方向。采用机器学习的方法来找到大规模数据当中的隐含规律,实现样本的视觉内容到概念的映射需要对视觉数据内容进行恰当的描述,如果我们使用整个的图像作为基本单元,存在的问题就是视觉数据往往具有歧义性,难以准确表述包含的语义,多示例学习方法应运而生。图像分类问题本身是一种多标签问题,传统方法将其转化为一系列的单标签问题解决,忽略了标签之间的相关性,我们将标签相关性引入到模型构建当中,实验取得良好效果。     

基于多示例学习的图像标注方法

随着数码产品,移动智能设备以及存储设备的普及,大数据时代已经来临,如何对海量数据进行有效的组织、管理、存储成为科研以及商业领域急需解决的问题,在图像数据挖掘当中,图像标注分类是当前比较热门的方向。采用机器学习的方法来找到大规模数据当中的隐含规律,实现样本的视觉内容到概念的映射需要对视觉数据内容进行恰当的描述,如果我们使用整个的图像作为基本单元,存在的问题就是视觉数据往往具有歧义性,难以准确表述包含的语义,多示例学习方法应运而生。图像分类问题本身是一种多标签问题,传统方法将其转化为一系列的单标签问题解决,忽略了标签之间的相关性,我们将标签相关性引入到模型构建当中,实验取得良好效果。     

CAD模型自动语义标注

为了解决基于关键字检索方式难以获得符合设计意图的CAD模型的问题,通过对CAD模型自动添加语义标签来改进传统关键字方式检索CAD模型的准确性.首先提出一种利用属性图比较CAD模型形状相似性的算法,根据图的邻接矩阵及顶点属性构造图顶点集的序列,通过动态编程方法求出图的最大公共子图,得到CAD模型之间的形状相似度;然后根据求出的未知模型与已知模型之间的形状相似度,利用概率方法实现对未知模型的自动语义标注.实验结果表明,采用文中方法可以使基于关键字的检索方法具有搜索形状相似模型的功能,在很大程度上改进了传统关键字方式检索CAD模型的准确性.     

面向NAND Flash存储的纠错编码技术概述

对面向NAND Flash存储的纠错编码技术进行综述。首先,介绍NAND Flash的内部结构及其出错机制。然后,对目前常用的4种纠错编码技术（Hamming码、RS码、BCH码以及LDPC码）原理及现状进行详细介绍。最后,对比分析这4种纠错编码技术的优缺点以及未来的发展趋势。     

基于社会标注的Web服务语义自动浮现方法

社会化标注已经成为当前Web2.0时代流行的资源识别和管理方法.针对当前Web服务语义描述能力不足的问题,提出一种基于多维度的Web服务语义社会标注方法.在社会标注模型的指导下,利用涉众的广泛参与性,从推荐标签集、候选标签集以及自由标签集3种集合中选取若干个标签对服务进行社会标注;同时从服务的功能语义、非功能语义、目标...     

基于本体的图像自动标注

提出一种新的图像本体标注的框架,结合领域本体中概念的关系,通过层次概率标注来获得图像高层语义概念的标注,实现待标注图像语义的自动标注。我们将图像的语义可以定义为属性概念和高层抽象概念,采用二次标注方法实现对于图像语义的自动标注。实验证明,本文的方法可以使图像获得丰富的高层抽象语义概念标注,从而缩小"语义鸿沟",有效提高了检索的效率和精确度。     

一种基于纠错编码的小波域数字图像水印技术

文章提出了一种基于纠错编码的小波域数字水印算法,该算法在检测时不需要原始图像,实现了盲检.算法中对水印图像进行了置乱和混沌加密处理,提高了抗几何攻击的能力,并且提高了安全性,纠错编码的引入使水印抗攻击能力明显增强.实验结果表明该算法较好的保持了图像质量,并对一般的信号处理,如剪切、JPEG压缩、噪声等有很好的鲁棒性.     

基于图学习的自动图像标注

自动图像标注是图像检索任务中重要而具有挑战性的工作.文中首先讨论并解释了自动图像标注问题,通过总结现有的研究工作,提出了一种基于图学习的图像标注框架.在该框架下,图像标注被分为两个阶段来完成,即基本图像标注与图像标注改善.其中,前者是通过以图像间相似性为依据的图学习过程来提供图像的初始标注,而后者是通过以词汇间语义相关性为依据的图学习过程来改善前者取得的标注结果.该框架主要涉及到图像与文本词汇两种媒体的内部和相互之间的各种关系的估计问题.基于此,作者又给出了针对上述各子问题的改进方法,并将它们综合起来实现了有效的图像标注.最后,通过Corel图像集与网络数据集上一系列实验结果,验证了该模型框架及所提出解决方案的有效性.     

基于分词与词性标注的汉语逗号自动分类

近年来,标点符号作为篇章的重要部分逐渐引起研究者的关注。然而,针对汉语逗号的研究才刚刚展开,采用的方法也大多都是在句法分析的基础上,尚不存在利用汉语句子的表层信息开展逗号自动分类的研究。提出了一种基于汉语句子的分词与词性标注信息做逗号自动分类的方法,并采用了两种有监督的机器学习分类器,即最大熵分类器和CRF分类器,来完成逗号的自动分类。在CTB 6.0语料上的实验表明,CRF的总体结果比最大熵的要好,而这两种分类器的分类精度都非常接近基于句法分析方法的分类精度。由此说明,基于词与词性做逗号分类的方法是可行的。     

基于MPEG-7和MM混合模型的图像自动标注算法

为了弥补图像低层视觉特征和高层语义之间的"语义鸿沟",改善图像自动标注的性能,提出了基于多媒体描述接口(MPEG-7)和MM(Mixture Model)混合模型的图像标注算法。该算法采用MPEG-7标准推荐的颜色和纹理描述子提取图像的低层视觉特征,通过MM混合模型建立低层特征到高层语义空间的映射,实现了基于图像整体低层特征的多标签图像自动标注。通过在corel图像数据集上的一系列实验测试验证了该方法的可行性和有效性。