图像自动语义标注技术综述

近年来,随着对基于内容图像检索技术研究的深入,图像自动语义标注已成为了该领域的研究热点。针对目前广泛研究的图像语义标注技术,从其分类、关键技术、存在问题及发展方向进行了进行了论述,以期为从事该方向研究的人员提供一定的借鉴意义和参考价值。     

图像语义自动标注及其粒度分析方法

缩小图像低层视觉特征与高层语义之间的鸿沟, 以提高图像语义自动标注的精度, 进而快速满足用户检索图像的需求,一直是图像语义自动标注研究的关键. 粒度分析方法是一种层次的、重要的数据分析方法, 为复杂问题的求解提供了新的思路. 图像理解与分析的粒度不同, 图像语义标注的精度则不同, 检索的效率及准确度也就不同. 本文对目前图像语义自动标注模型的方法进行综述和分析, 阐述了粒度分析方法的思想、模型及其在图像语义标注过程中的应用, 探索了以粒度分析为基础的图像语义自动标注方法并给出进一步的研究方向.     

融合语义主题的图像自动标注

由于语义鸿沟的存在,图像自动标注已成为一个重要课题.在概率潜语义分析的基础上,提出了一种融合语义主题的方法以进行图像的标注和检索.首先,为了更准确地建模训练数据,将每幅图像的视觉特征表示为一个视觉"词袋";然后设计一个概率模型分别从视觉模态和文本模态中捕获潜在语义主题,并提出一种自适应的不对称学习方法融合两种语义主题.对于每个图像文档,它在各个模态上的主题分布通过加权进行融合,而权值由该文档的视觉词分布的熵值来确定.于是,融合之后的概率模型适当地关联了视觉模态和文本模态的信息,因此能够很好地预测未知图像的语义标注.在一个通用的Corel图像数据集上,将提出的方法与几种前沿的图像标注方法进行了比较.实验结果表明,该方法具有更好的标注和检索性能.     

源代码变量名的自动语义标注

大规模开源代码社区为开发者提供了丰富的软件资产,但要理解和利用这些代码却十分耗时耗力。为寻求代码理解、分析和挖掘的语义支撑,本文针对源代码变量名进行了研究,提出了一种基于字段相似度与语义关联度的自动语义标注方法,并实现了相应的工具。该方法首先建立英文、中文、拼音语料库,并构建字段相似度模型生成多种候选标注方案,然后利用马尔科夫转移矩阵和语义网WordNet构建概率模型评选出最优的标注方案,从而实现源代码变量名的自动语义识别。该方法通过积累用户的标注采纳反馈,能够不断提高标注准确度。本文使用GitHub开源项目代码进行标注准确度实验,结果表明初次标注准确度达到68.1%,随着用户反馈增加逐步提升到73.3%。     

矿山语义物联网自动语义标注方法

针对目前矿山领域异构数据融合时先验知识获取困难、物联网本体库实时性差、实例对象数据手动标注方式效率较低等问题,提出了一种矿山语义物联网自动语义标注方法。给出了传感数据语义化处理框架:一方面,确定本体的专业领域和范畴,通过重用流注释本体(SAO)构建领域本体,作为驱动语义标注的基础;另一方面,使用机器学习方法对感知数据流进行特征提取与数据分析,从海量数据中挖掘出概念间的关系;通过数据挖掘知识来驱动本体的更新与完善,实现本体的动态更新、拓展与更精确的语义标注,增强机器的理解力。以矿井提升系统主轴故障为例阐述从本体到实例化的语义标注过程:结合领域专家知识及本体重用,采用"七步法"建立矿井提升系统主传动故障本体;为了加强实例数据属性描述的准确性,使用主成分分析法(PCA)与K-means聚类方法对数据集进行降维和分组,提取出数据属性与概念的关系;通过基于语义Web的规则语言(SWRL)标注具体先行条件与后续概念的关系,优化领域本体。实验结果表明:在本体实例化过程中,可利用机器学习技术从传感数据中自动提取概念,实现传感数据的自动语义标注。     

大规模图像语义相关性自动标注

针对大规模图像集合的自动标注问题,提出一种图像语义相关性自动标注方法.首先提取图像的视觉特征,将每个样本表示为局部邻域样本点的稀疏线性组合;然后采用一种基于最大后验概率准则的多标签学习方法得到每幅图像的单特征标签相关度;最终对单个特征和特定标签的相关度阈值进行无偏估计,并采用无监督组合方法融合多种视觉特征和标签的相关度.互联网数据集测试结果表明,该方法是有效的.     

基于视觉语义主题的图像自动标注

为减小图像检索中语义鸿沟的影响,提出了一种基于视觉语义主题的图像自动标注方法.首先,提取图像前景与背景区域,并分别进行预处理;然后,基于概率潜在语义分析与高斯混合模型建立图像底层特征、视觉语义主题与标注关键词间的联系,并基于该模型实现对图像的自动标注.采用corel 5数据库进行验证,实验结果证明了本文方法的有效性.     

一种自适应的Web图像语义自动标注方法

提出了一种自适应的Web图像语义自动标注方法:首先利用Web标签资源自动获取训练数据;然后通过带约束的分段惩罚加权回归模型将关联文本权重分布自适应学习和先验知识约束有机地结合在一起,实现Web图像语义的自动标注.在4 000幅从Web获得的图像数据集上的实验结果验证了该文自动获取训练集方法以及Web图像语义标注方法的有效性.     

图像自动标注技术研究进展

现有图像自动标注技术算法可以大致划分为基于语义的标注算法、基于矩阵分解的标注算法、基于概率的标注算法以及基于图学习的标注算法等四大类。介绍了各类别中具有代表性的图像自动标注算法,分析了这些算法的问题模型及其功能特点,并归纳了图像自动标注算法中主要的优化求解方法及算法评价中常用的图像数据集和性能评价指标。最后,指出了图像自动标注技术目前存在的主要问题,并且提出了这些问题的解决思路。分析结果表明,对于图像自动标注技术的研究,可充分利用现有算法的优势互补,或借助多学科交叉的优势,寻找更有效的算法。     

基于差异特征协同语义标注的三维模型检索方法

提出一种基于差异特征协同语义标注的三维模型检索方法.该方法利用多种特征提取方法的优点,借鉴半监督学习中的协同训练思想,首先通过3种差异特征提取算法分别训练学习器,构造出3个差异学习器;然后通过协同迭代训练找到最优学习器对三维模型进行自动语义标注;最后结合语义进行三维模型检索.在普林斯顿大学的PSB三维模型数据集上的实验...     

义类自动标注方法的研究

句法分析不能满足汉语分析的需要,句法和语义相结合的分析方法适用于汉语分析。分析的基础要有一部语法语义词典。目前的机读词典多是语法词典,因而需要在语法词典中加入词的语义信息。《同义词词林》是一部较好的义类词典,但没有语法信息,可以《同义词词林》的分类体系对语法词典进行义类标注,得到语法语义词典。这一过程中有不一致的情况,特别地,对《同义词词林》中未收录的词就不能直接标注义类。本文采用《同义词词林》的分类体系,研究设计了一个汉语词自动义类标注算法,对北大《现代汉语语法信息词典》进行自动义类标注。实验结果较为满意,得到91%的准确率。     

三维CAD模型检索综述

对三维CAD模型检索研究现状进行了深入和系统的综述。CAD模型检索可划分为两个层次:基于视觉相似性的三维CAD模型检索、面向语义与功能描述的三维CAD模型检索。分别分析了两种检索层次下CAD模型的检索方法。在此基础上总结了三维CAD模型检索评测基准库、评测方法等。最后展望了现有研究中的难点及进一步的研究方向。     

基于拓扑逼近的CAD模型局部结构检索

为了从大量CAD模型中检索出具有指定局部结构的模型,提出一种基于拓扑逼近的检索方法.根据建立的CAD模型上边界面的几何与拓扑信息表达模型,提出一种统一度量方法来计算检索对象与检索条件中不同类型边界面之间的相似度;利用基于广度优先搜索的图生成树算法得到检索对象与检索条件之间的初始边界匹配方案;提出拓扑逼近算法,并将初始边界匹配方案作为其输入条件搜索最佳边界匹配方案;在最佳边界匹配方案基础上计算检索对象与检索条件之间满足绝对误差限的相似度,实现CAD模型的局部结构检索.根据文中方法在UG平台上开发了CAD模型局部结构检索系统.实验结果表明,该方法能够有效地实现CAD模型局部结构检索,具有较好的精度和较高的效率.     

结合邻近度的语义位置语言检索模型

在传统的检索模型中,文档与查询的匹配计算主要考虑词项的统计特征,如词频、逆文档频率和文档长度,近年来的研究表明应用查询词项匹配在文档中的位置信息可以提高查询结果的准确性。如何更好地刻画查询词在文档中的位置信息并建模,是研究提高检索效果的问题之一。该文在结合语义的位置语言模型(SPLM)的基础上进一步考虑了词的邻近信息,并给出了用狄利克雷先验分布来计算邻近度的平滑策略,提出了结合邻近度的位置语言检索模型。在标准数据上的实验结果表明,提出的检索模型在性能上要优于结合语义的位置语言模型。     

基于面形位编码的CAD模型检索

提出一种基于面形位码的模型检索方法.计算模型中任意面f的形位码分为2步.首先根据实体的B-rep结构生成属性邻接图并将图转化为以面f为中心的层状结构;然后根据图的层状结构对每一层进行递归的编码,形成一种分阶的形位码.根据模型中所有面的形位码构造一个表达模型整体形状的描述矩阵,利用该矩阵可以有效地评估模型之间不同精度要求下的相似度,从而实现模型检索.实验结果表明,该方法不但具有较高的搜索效率,并且能根据不同精度的要求搜索到合适的相似模型.     

面向文本检索的语义计算

随着信息社会尤其是互联网的发展,人们对文本检索的要求越来越高．作为对传统关键词匹配技术的改进,智能检索研究已经成为热点,并将是支撑下一代互联网的核心技术之一．将语义计算技术应用于文本检索,是智能检索的重要方向．文中在文本检索的两个关键技术（“标引”和“相似度计算”）中引入语义计算技术,用浅层语义来指导检索过程,提高检索准确率．针对“标引”技术,提出了语义树模型;针对“相似度计算”,基于语义张量的概念,结合自然语言处理的一些技术,提出三个可计算的窗口模型来近似语义张量的核心思想．以上工作在一定程度上实现了语义计算的功能．利用TREC数据集进行的评测表明,采用了语义计算技术后,文本检索的准确率可以提高10％左右．     

语义保持哈希在跨模态检索中的应用

哈希表示能够节省存储空间,加快检索速度,所以基于哈希表示的跨模态检索已经引起广泛关注。多数有监督的跨模态哈希方法以一种回归或图约束的方式使哈希编码具有语义鉴别性,然而这种方式忽略了哈希函数的语义鉴别性,从而导致新样本不能获得语义保持的哈希编码,限制了检索准确率的提升。为了同时学习具有语义保持的哈希编码和哈希函数,提出一种语义保持哈希方法用于跨模态检索。通过引入两个不同模态的哈希函数,将不同模态空间的样本映射到共同的汉明空间。为使哈希编码和哈希函数均具有较好的语义鉴别性,引入了语义结构图,并结合局部结构保持的思想,将哈希编码和哈希函数的学习融合到同一个框架,使两者同时优化。三个多模态数据集上的大量实验证明了该方法在跨模态检索任务的有效性和优越性。     

基于语义的三维CAD模型可重用区域自动提取

针对产品设计中的局部检索重用需求,提出一种基于语义分析的可重用区域自动提取方法。通过采用扩展特征树表征三维CAD模型,准确刻画设计模型中不同粒度、不同形式的特征及特征间的关联关系,有效捕捉模型中包含的设计语义;通过分析局部区域的设计重用性,提出局部区域可重用性度量函数,并以扩展特征树的表征结构为输入,依据局部区域的可重用性自动提取候选可重用区域;通过进一步评价候选可重用区域的重用率确定最终可重用区域,以确保可重用区域的有效性及合理性。实验结果表明,依据本方法提取获得的可重用区域符合设计重用语义,能有效支持产品设计阶段的局部检索重用。