基于图像分割的语义标注方法

为有效解决图像检索中存在的“语义鸿沟”问题,提出了一种新的语义标注方法。该方法以图像分割为基础,在训练阶段构建图像字典,通过对图像单元颜色、纹理、小波轮廓的分析和描述形成一种结合小波轮廓比对和概率统计的二阶段标注模型,模型针对不同类别的图像分阶段采用相应的标注方法。经实验,应用该模型进行图像检索查全率和查准率都有明显提高,其中查准率最高可提升23.6%,证明该方法更接近人对图像内容的理解,具有良好的标注效果和检索性能。     

基于形式概念分析和语义关联规则的目标图像标注

基于目标的图像标注一直是图像处理和计算机视觉领域中一个重要的研究问题.图像目标的多尺度性、多形变性使得图像标注十分困难.目标分割和目标识别是目标图像标注任务中两大关键问题.本文提出一种基于形式概念分析(Formal concept analysis, FCA)和语义关联规则的目标图像标注方法, 针对目标建议算法生成图像块中存在的高度重叠问题, 借鉴形式概念分析中概念格的思想, 按照图像块的共性将其归成几个图像簇挖掘图像类别模式, 利用类别概率分布判决和平坦度判决分别去除目标噪声块和背景噪声块, 最终得到目标语义簇; 针对语义目标判别问题, 首先对有效图像簇进行特征融合形成共性特征描述, 通过分类器进行类别判决, 生成初始目标图像标注, 然后利用图像语义标注词挖掘语义关联规则, 进行图像标注的语义补充, 以避免挖掘类别模式时丢失较小的语义目标.实验表明, 本文提出的图像标注算法既能保证语义标注的准确性, 又能保证语义标注的完整性, 具有较好的图像标注性能.     

图像自动语义标注技术综述

近年来,随着对基于内容图像检索技术研究的深入,图像自动语义标注已成为了该领域的研究热点。针对目前广泛研究的图像语义标注技术,从其分类、关键技术、存在问题及发展方向进行了进行了论述,以期为从事该方向研究的人员提供一定的借鉴意义和参考价值。     

一种基于本体与描述文本的网络图像语义标注方法

网络图像语义自动标注是实现对互联网中海量图像管理和检索的有效途径,而自动有效地挖掘图像语义是实现自动语义标注的关键。网络图像的语义蕴含于图像自身,但更多的在于对图像语义起不同作用的各种描述文本,而且随着图像和描述知识的变化,描述文本所描述的图像语义也随之变化。提出了一种基于领域本体和不同描述文本语义权重的自适应学习的语义自动标注方法,该方法从图像的文本特征出发考查它们对图像语义的影响,先通过本体进行有效的语义快速发现与语义扩展,再利用一种加权回归模型对图像语义在其不同类型描述文本上的分布进行自适应的建模,进而实现对网络图像的语义标注。在真实的Wcb数据环境中进行的实验中,该方法的有效性得到了验证。     

图像语义标注

作为图像检索技术中重要环节的语义标注,其标注的准确度决定着最终检索效果。介绍了语义标注的基础(即语义层次模型),总结了语义标注常用的方法:人工手动标注和计算机标注系统,并且分析了两种方法的具体实现以及优缺点。     

场景语义树图像标注方法

自动图像标注是一项具有挑战性的工作,它对于图像分析理解和图像检索都有着重要的意义.在自动图像标注领域,通过对已标注图像集的学习,建立语义概念空间与视觉特征空间之间的关系模型,并用这个模型对未标注的图像集进行标注.由于低高级语义之间错综复杂的对应关系,使目前自动图像标注的精度仍然较低.而在场景约束条件下可以简化标注与视觉特征之间的映射关系,提高自动标注的可靠性.因此提出一种基于场景语义树的图像标注方法.首先对用于学习的标注图像进行自动的语义场景聚类,对每个场景语义类别生成视觉场景空间,然后对每个场景空间建立相应的语义树.对待标注图像,确定其语义类别后,通过相应的场景语义树,获得图像的最终标注.在Corel5K图像集上,获得了优于TM(translation model)、CMRM(cross media relevance model)、CRM(continous-space relevance model)、PLSA-GMM(概率潜在语义分析-高期混合模型)等模型的标注结果.     

区域语义多样性密度的图像标注

随着Web2.0下海量共享图像的出现,如何获取图像具有描述力的精准区域标注具有重要研究意义。本文提出一种基于区域语义多样性密度的图像标注框架,重点考虑区域间的视觉特征差异和空间结构差异。具体来说,基于距离相似度的特征多样性密度实现了区域特征语义标注;引入负相关示例的惩罚作用实现了区域空间关系语义及属性语义标注。在NUS-WIDE和MSRC数据集上验证了方法的有效性,区域属性标注的正确率在80%以上,同时基于属性标注的图像检索的平均查准率达到82%。     

一种新的图像语义自动标注模型

根据图像低层特征和高级语义间的对应关系,自动进行图像语义标注是目前图像检索系统研究的热点。简要介绍了基于图像语义连接网络的图像检索框架,提出了一种基于该框架的图像自动标注模型。该模型通过积累用户反馈信息,学习并获得图像语义,从而进行自动的图像标注。图像语义及标注可以在与用户交互过程中得到实时更新。还提出了一种词义相关度分析的方法剔除冗余标注词,解决标注误传播的问题。通过在Corel图像集上的对比实验,验证了该方法的有效性。     

一种融合语义距离的最近邻图像标注方法

传统的基于最近邻的图像标注方法效果不佳,主要原因在于提取图像视觉特征时,损失了很多有价值的信息.提出了一种改进的最近邻分类模型.首先利用距离测度学习方法,引入图像的语义类别信息进行训练,生成新的语义距离;然后利用该距离对每一类图像进行聚类,生成多个类内的聚类中心;最后通过计算图像到各个聚类中心的语义距离来构建最近邻分类模型.在构建最近邻分类模型的整个过程中,都使用训练得到的语义距离来计算,这可以有效减少相同图像类内的变动和不同图像类之间的相似所造成的语义鸿沟.在ImageCLEF2012图像标注数据库上进行了实验,将本方法与传统分类模型和最新的方法进行了比较,验证了本方法的有效性.     

图像语义标注中的叙词查询方法*

为了在图像语义标注领域能更好地反映标注之间的关系,通过对已标注图像的标注进行分析来建立标 注之间的关系,并在此基础上将叙词查询的概念引入到图像语义标注中并提出了基于叙词查询的图像语义标注 方法,把语义标注问题统一在叙词查询与图像的语义关系相结合在统一的框架下,最后通过在Ｃｏｒｅｌ图像数据库中的验证表明,所提出的方法是有效的并且标注率得到了明显的提高。     

基于显著性语义区域加权的图像检索算法

针对计算视觉领域图像实例检索的问题，提出了一种基于深度卷积特征显著性引导的语义区域加权聚合方法。首先提取深度卷积网络全卷积层后的张量作为深度特征，并利用逆文档频率（IDF）方法加权深度特征得到特征显著图；然后将其作为约束，引导深度特征通道重要性排序以提取不同特殊语义区域深度特征，排除背景和噪声信息的干扰；最后使用全局平均池化进行特征聚合，并利用主成分分析（PCA）降维白化得到图像的全局特征表示，以进行距离度量检索。实验结果表明，所提算法提取的图像特征向量语义信息更丰富、辨识力更强，在四个标准的数据库上与当前主流算法相比准确率更高，鲁棒性更好。     

基于语义共现图的中文微博新闻话题识别

提出一种在大规模微博短文本数据集中自动发现新闻话题的方法。该方法在微博数据预处理之后,综合TF-IDF、文档频率增长率和命名实体识别等几个因素抽取微博数据中的主题词。根据主题词之间的语义关系来构建主题词的语义共现图,计算出语义共现图的连通子图,把每个不连通的簇集看成一个新闻话题。在新浪微博数据集上进行实验,实现了对微博中新闻话题的识别。该方法能较好检测出当前时间的热门话题,能够在一定程度上有效地避免错误传播,实验结果验证了该方法的有效性。     

综合纹理特征和语义信息的医学图像检索

提出一种结合图像分块纹理特征和语义信息的医学胸片图像检索方法。同时,介绍了颜色特征提取方法中的颜色相关图算法。据此,实现了一个图像检索原型系统,依据所设计的评价实验,将不同实验的检索结果进行了比较和分析。实验证明,结合图像分块纹理特征和语义信息的检索方法具有较好的检索效果。     

Image categorization using a semantic hierarchy model with sparse set of salient regions

Image categorization in massive image database is an important problem. This paper proposes an approach for image categorization, using sparse set of salient semantic information and hierarchy semantic label tree （HSLT） model. First, to provide more critical image semantics, the proposed sparse set of salient regions only at the focuses of visual attention instead of the entire scene was formed by our proposed saliency detection model with incorporating low and high level feature and Shotton＇s semantic texton forests （STFs） method. Second, we also propose a new HSLT model in terms of the sparse regional semantic information to automatically build a semantic image hierarchy, which explicitly encodes a general to specific image relationship. And last, we archived image dataset using image hierarchical semantic, which is help to improve the performance of image organizing and browsing. Extension experimefital results showed that the use of semantic hierarchies as a hierarchical organizing frame- work provides a better image annotation and organization, improves the accuracy and reduces human＇s effort.     

Image categorization using a semantic hierarchy model with sparse set of salient regions

Image categorization in massive image database is an important problem. This paper proposes an approach for image categorization, using sparse set of salient semantic information and hierarchy semantic label tree (HSLT) model. First, to provide more critical image semantics, the proposed sparse set of salient regions only at the focuses of visual attention instead of the entire scene was formed by our proposed saliency detection model with incorporating low and high level feature and Shotton’s semantic texton forests (STFs) method. Second, we also propose a new HSLT model in terms of the sparse regional semantic information to automatically build a semantic image hierarchy, which explicitly encodes a general to specific image relationship. And last, we archived image dataset using image hierarchical semantic, which is help to improve the performance of image organizing and browsing. Extension experimental results showed that the use of semantic hierarchies as a hierarchical organizing framework provides a better image annotation and organization, improves the accuracy and reduces human’s effort.     

中文语义相关度计算模型研究

现有的中文语义相关度计算模型对相关度的定义并不明确和统一,且计算方法多以相似度计算为基础,导致应用语义相关度存在局限。提出了一个新的语义相关的定义,认为两个词所表达的概念之间,如果存在用类似“知网”的知识描述体系所描述的语义关系,那么这两个概念之间就是语义相关的。通过挖掘这些直接或间接的关系,提出了一种新的语义相关度的计算模型,适用于所有类似知网的知识体系中语义相关度的计算。最后将该计算模型应用于词义排歧,验证了该计算模型的有效性。     

基于纹理信息的室内场景语义标注学习方法

针对目前室内场景视频中关键物体的检测、跟踪及信息编辑等方面主要是采用人工处理方式,存在效率低、精度不高等问题,提出了一种基于纹理信息的室内场景语义标注学习方法。首先,采用光流方法获取视频帧间的运动信息,利用关键帧标注和帧间运动信息进行非关键帧的标注初始化;然后,利用非关键帧的图像纹理信息约束及其初始化标注构建能量方程;最后,利用图割方法优化得到该能量方程的解,即为非关键帧语义标注。标注的准确率和视觉效果的实验结果表明,与运动估计法和基于模型的学习法相比较,所提基于纹理信息的室内场景语义标注学习法具有较好的效果。该方法可以为服务机器人、智能家居、应急响应等低时延决策系统提供参考。     

基于语义感知的图像美学质量评估方法

当前图像美学质量评估的研究主要基于图像的视觉内容来给出评价结果,忽视了美感是人的认知活动的事实,在评价时没有考虑用户对图像语义信息的理解。为了解决这一问题,提出了一种基于语义感知的图像美学质量评估方法,将图像的物体类别信息以及场景类别信息也用于图像美学质量评估。运用迁移学习的思想,构建了一种可以融合图像多种特征的混合网络。对于每一幅输入图像,该网络可以分别提取出其物体类别特征、场景类别特征以及美学特征,并将这三种特征进行高质量的融合,以达到更好的图像美学质量评估效果。该方法在AVA数据集上的分类准确率达到89.5%,相对于传统方法平均提高了19.9%,在CUHKPQ数据集上的泛化性能也有了很大提升。实验结果表明,所提方法在图像美学质量评估问题上,能够取得更好的分类性能。     

基于地理空间本体的语义检索相关度研究

以地理信息领域为应用背景,面向地理空间语义检索,基于地球信息科学中的空间拓扑理论,以空间本体为语义检索的概念空间,提出了一种语义相关度的算法。其特点是考虑了传统字面匹配相关度与语义关系相关度两部分的融合,同时引入了本体关系权值的机制控制在不同语义检索应用中本体的关联程度,并体现了其与语义距离的反比关系。通过所作的相关实验,验证了该语义相关度算法在地理空间语义检索应用中可以达到良好的效果,并且也为其他领域应用提供了较好的参考和借鉴价值。