基于视觉注意机制和条件随机场的图像标注

传统的图像标注方法对图像各个区域同等标注,忽视了人们对图像的理解方式。为此提出了基于视觉注意机制和条件随机场的图像标注方法。首先,由于人们在对图像认识的过程中,对显著区域会有较多的关注,因此通过视觉注意机制来取得图像的显著区域,用支持向量机对显著区域赋予语义标签;再利用k-NN聚类算法对非显著区域进行标注;最后,又由于显著区域的标注词与非显著区域的标注词在逻辑上存在一定的关联性,因此条件随机场模型可以根据标注词的关联性校正并确定图像的最终标注向量。在Corel5k、IAPR TC-12和ESP Game图像库上进行实验并且和其他方法进行比较,从平均查准率、平均查全率和F1的实验结果验证了本文方法的有效性。     

基于多尺度上下文的图像标注算法

提出了一种在层次化分割框架下,通过结合图像的底层局部特征以及高层的上下文特征,进行图像自动语义标注的新算法. 该算法的核心思想在于对较大的图像区域的识别结果有利于对其包含的较小图像区域进行识别.算法首先对每层分割后的图像区域进行识别, 然后利用贝叶斯定理将各层区域识别的结果通过线性加权的方式进行融合,从而达到对整幅图像进行自动语义标注的目的.与现有的图像标注算法相比,仿真实验表明本文算法获得了最好的标注精度以及最快的标注速度.     

基于完全联系的条件随机场的图像标注

传统的图像标注模型通常存在两个问题：只能够对短距离的像素上下文信息进行建模和复杂的模型推理过程。为了提高图像标注的精度、简化图像标注的模型推理过程,采用完全联系的条件随机场模型进行图像标注,提出利用基于高斯kd树的平均场估计方法实现该模型的高效推理。为了更好地验证算法的有效性,实验的图片数据库不仅包含标准的图片库--剑桥大学微软研究图片库（MSRC-9）,还包含作者制作的机械零件图片库（MyDataset_1）和办公桌图片库（MyDataset_2）。新算法在三个图片库上的平均标注精度分别可以达到77.96%、97.15%和95.35%,每幅图的平均运行时间为2s。实验结果表明,基于完全联系的条件随机场的图像标注能够更充分地考虑不同的像素上下文信息来提高标注精度,而基于高斯kd树的模型推理能够提高模型推理的效率。     

基于随机点积图的图像标注改善算法

针对自动图像标注中底层特征和高层语义之间的鸿沟问题,提出一种基于随机点积图的图像标注改善算法。该算法首先采用图像底层特征对图像候选标注词建立语义关系图,然后利用随机点积图对其进行随机重构,从而挖掘出训练图像集中丢失的语义关系,最后采用重启式随机游走算法,实现图像标注改善。该算法结合了图像的底层特征与高层语义,有效降低了图像集规模变小对标注的影响。在3种通用图像库上的实验证明了该算法能够有效改善图像标注,宏F值与微平均F值最高分别达到0.784与0.743。     

基于互K近邻图的自动图像标注与快速求解算法

图像语义具有模糊性、复杂性、抽象性等特点,在提取图像语义时仅用低层特征进行描述是不够的,需要结合图像相关内容,以便提高图像标注的精确度。为此,提出了基于互K近部图的图像标注方法,该方法用一个互K近部图融合了图像的低层特征之间、标注词之间以及图像与标注词间的相互关系。利用互K近部图实现了根据两个节点间的相互关系来提取语义信息,弥补了基于K近邻图的方法中单方向挖掘节点信息的不足,有效地提高了图像标注的性能。在对互K近部图结构分析的基础上,结合重启随机游走,提出了一种快速求解算法,该算法在不明显降低图像标注精度下,实现了快速求解。在Cord图像数据集上进行了实验,结果验证了所提方法的有效性。     

基于图像分割的图像破损区域自动标注和修复

数字图像修复技术是指根据一定的规则,对局部区域有数据丢失或缺损的图像进行处理,以恢复图像原貌.在修复前先要对图像缺损区域标注,这项工作通常用人工完成.本文首先介绍了近年来图像分割算法,分析各自的特性,接着提出了利用图像分割算法实现对破损区域的自动提取并标注的思想,有效提高图像修复的效率.     

基于深度特征融合的图像语义分割

在图像语义分割中使用卷积网络进行特征提取时,由于最大池化和下采样操作的重复组合引起了特征分辨率降低,从而导致上下文信息丢失,使得分割结果失去对目标位置的敏感性。虽然基于编码器-解码器架构的网络通过跳跃连接在恢复分辨率的过程中逐渐细化了输出精度,但其将相邻特征简单求和的操作忽略了特征之间的差异性,容易导致目标局部误识别等问题。为此,文中提出了基于深度特征融合的图像语义分割方法。该方法采用多组全卷积VGG16模型并联组合的网络结构,结合空洞卷积并行高效地处理金字塔中的多尺度图像,提取了多个层级的上下文特征,并通过自顶向下的方法逐层融合,最大限度地捕获上下文信息;同时,以改进损失函数而得到的逐层标签监督策略为辅助支撑,联合后端像素建模的全连接条件随机场,无论是在模型训练的难易程度还是预测输出的精度方面都有一定的优化。实验数据表明,通过对表征不同尺度上下文信息的各层深度特征进行逐层融合,图像语义分割算法在目标对象的分类和空间细节的定位方面都有所提升。在PASCAL VOC 2012和PASCAL CONTEXT两个数据集上获得的实验结果显示,所提方法分别取得了80.5%和45.93%的mIoU...     

基于本体的图像自动标注

提出一种新的图像本体标注的框架,结合领域本体中概念的关系,通过层次概率标注来获得图像高层语义概念的标注,实现待标注图像语义的自动标注。我们将图像的语义可以定义为属性概念和高层抽象概念,采用二次标注方法实现对于图像语义的自动标注。实验证明,本文的方法可以使图像获得丰富的高层抽象语义概念标注,从而缩小"语义鸿沟",有效提高了检索的效率和精确度。     

基于信息瓶颈算法的图像语义标注

首先采用改进的k均值无监督图像分割算法将图像分割成不同的区域,提出信息瓶颈聚类方法对分割后的区域进行聚类,建立图像语义概念和聚类区域之间的相互关系.然后对未标注的图像进行分割,在给出分割区域的条件下,计算每个语义概念的条件概率,使用条件概率最大的语义关键字实现图像语义的自动标注.对一个包含500幅图像的图像库进行实验,结果表明,本文方法比其它方法更有效.     

一种基于区域特征关联的图像语义标注方法

图像语义的标注需要解决图像高层语义和底层特征间存在的语义鸿沟。采用基于图像分割、并结合图像区域特征抽取的方法,建立图像区域语义与底层特征间的关联,采用基于距离的分类算法,计算区域特征间的相似性,并对具有相同或相近特征的区域的语义采用关联关键字的方法进行区分,用关键字实现图像语义的自动标注。     

基于集成分类算法的自动图像标注

基于语义的图像检索技术中,按照图像的语义进行自动标注是一个具有挑战性的工作. 本文把图像的自动标注过程转化为图像分类的过程,通过有监督学习对每个图像区域分类并得到相应关键字,实现标注. 采用一种快速随机森林(Fast random forest, FRF)集成分类算法,它可以对大量的训练数据进行有效的分类和标注. 在基于Corel数据集的实验中,相比经典算法, FRF改善了运算速度,并且分类精度保持稳定. 在图像标注方面有很好的应用.     

基于树状条件随机场模型的语义角色标注

针对线性条件随机场模型不能清楚表达语义角色内部结构关系的问题,提出一种基于树状条件随机场模型的语义角色标注方法。对句法依存树上的层次依赖关系和兄弟依赖关系进行标注,处理状态变量之间的长距离依赖,利用CRFs模型能添加任意特征的优点,在系统中添加新的组合特征和介词短语角色。在CoNNL 2008 Shared Task语料库上进行实验,结果证明该方法能有效提高系统的准确率和召回率。     

基于改进全卷积神经网络的航拍图像语义分类方法

现有的卷积神经网络方法难以对图像的每个像素进行语义识别,较难从像素层面分解出图像的不同类别。为此,提出一种端到端的全卷积深度网络,以实现高分辨航拍图像像素级的语义分割及识别。通过全卷积神经网络对图像强度信息和地理信息系统信息分别采用独立通道进行处理,在全卷积神经网络的最终层合并2个通道,并对每个像素进行全连接像素级标注,利用条件随机场作为后期处理方法平滑相似区域,同时保留图像中的边缘信息。实验结果表明,与传统视觉语义分类算法相比,该算法在航拍图像像素级分类上的准确率更高,识别效果更好。     

基于上下文门卷积的盲图像修复

目前基于深度学习的图像修复方法已经取得较大地进展,其方法均是基于输入的掩模对图像的退化区域进行修复.基于此,提出了由掩模预测网络和图像修复网络组成的2阶段盲图像修复网络.整个修复过程无需输入掩模,掩模预测网络可以根据输入图像自动检测图像退化区域并生成掩模,图像修复网络根据预测掩模对输入图像的缺失部分进行修复.为了更好地...     

基于互信息约束聚类的图像语义标注

提出一种基于互信息约束聚类的图像标注算法。采用语义约束对信息瓶颈算法进行改进,并用改进的信息瓶颈算法对分割后的图像区域进行聚类,建立图像语义概念和聚类区域之间的相互关系;对未标注的图像,提出一种计算语义概念的条件概率的方法,同时考虑训练图像的先验知识和区域的低层特征,最后使用条件概率最大的语义关键字对图像区域语义自动标注。对一个包含500幅图像的图像库进行实验,结果表明,该方法比其他方法更有效。     

基于关键词的图像标注综述

图像标注的目标是针对每幅图像,利用相对应的文本信息进行描述,从而能够对海量的图像数据进行有效的管理和检索。尽管图像标注已经被研究了若干年,然而它仍然是机器视觉和机器学习领域中一个非常具有挑战性的问题。各种各样的算法被用于图像的标注工作。对目前基于关键词的图像标注的一些常用的算法和模型进行了综述,包括传统的基于分类的方法、相关模型、主题模型、基于随机场的上下文信息的处理以及利用Internet上海量的数据来辅助图像标注等等。讨论了目前图像标注研究中遇到的一些具有挑战性的问题。     

自动图像标注技术综述

图像自动标注技术是减少图像数据与内容之间“语义鸿沟”的其中一种最有效途径,对于帮助人类理解图像内容,从海量图像数据中检索感兴趣的信息具有重要现实意义.通过研究近20年公开发表的图像标注文献,总结了图像标注模型的一般性框架;并通过该框架结合各种具体工作,分析出在图像标注研究过程中需要解决的一般性问题;将各种图像标注模型所采用的主要方法归为9种类型,分别为相关模型、隐Markov模型、主题模型、矩阵分解模型、近邻模型、基于支持向量机的模型、图模型、典型相关分析模型以及深度学习模型,并对每种类型的图像标注模型,按照“基本原理介绍—具体模型差异—模型总结”3个层面进行了研究与分析.此外,总结了图像标注模型常用的一些数据集、评测指标,对一些比较著名的标注模型的性能进行了比较,并据此对各种类型的标注模型做了优缺点分析.最后,提出了图像标注领域一些开放式问题和研究方向.     

基于图学习的自动图像标注

自动图像标注是图像检索任务中重要而具有挑战性的工作.文中首先讨论并解释了自动图像标注问题,通过总结现有的研究工作,提出了一种基于图学习的图像标注框架.在该框架下,图像标注被分为两个阶段来完成,即基本图像标注与图像标注改善.其中,前者是通过以图像间相似性为依据的图学习过程来提供图像的初始标注,而后者是通过以词汇间语义相关性为依据的图学习过程来改善前者取得的标注结果.该框架主要涉及到图像与文本词汇两种媒体的内部和相互之间的各种关系的估计问题.基于此,作者又给出了针对上述各子问题的改进方法,并将它们综合起来实现了有效的图像标注.最后,通过Corel图像集与网络数据集上一系列实验结果,验证了该模型框架及所提出解决方案的有效性.     

基于相关反馈的图像标注与检索算法

为了提高图像标注与检索的性能,提出了一种基于区域分割与相关反馈的图像标注与检索算法。该算法利用视觉特征与标注信息的相关性,采用基于区域的视觉特征对每幅图像采用聚类方法获得其一组视觉相似图像。通过计算与其距离最近的前3个分类的相似度,然后对这些关键字概率向量进行整合,获得最适合该图像的关键字概率向量,对图像进行标注。利用用户的反馈信息,修正查询关键词与每个分类之间的关系,进一步提高图像检索的准确性。实验结果表明,提出的算法具有更高的查准率与查全率。     

基于CRFsuite分类器的汉语框架语义角色标注

以山西大学的汉语框架语义知识库为实验语料,使用CRFsuite分类器对中文句子中谓词的语义角色标注同时进行识别和分类。CRFsuite分类器中使用一些简单有效的特征,后处理阶段采用简单的后处理规则对标注结果进行处理,最终在实验结果和实验效率上都有了显著性提高。