基于结构模型的人运动图像语义描述

人运动图像语义的研究是对人运动图像中人体运动行为的一种描述方法,通过其语义来实现图像的识别与检索。该文希望通过对人体运动的几种较为简单的动作语义的研究,来开启对人运动图像语义的全面研究。为了实现该目标,提出了基于模型的人运动图像的语义描述,即模型语义,模型语义具有直观性、推导性和可行性。通过定义基本模型和语义操作规则,建立一个语义的形式描述理论,此模型语义是人运动图像语义全面研究的基础。     

基于概念级语义的图像描述与识别

由于计算机自动提取的图像视觉特征与人所理解的图像内容存在巨大的差异,传统的低层的视觉特征(如颜色、纹理、形状等)CBIR(Content-Based Image Retrieval)系统的检索结果往往不尽如人意.近年来,根据概念级语义(如男孩、高兴、浪漫等)的CBIR引起了研究者的重视.本文对CBIR领域的大量文献进行了深入的分析,从工程角度综述了图像概念级语义的描述模型、概念级语义特征提取和概念级语义图像检索问题的研究进展,并阐述了作者的一些观点.     

图像语义相似性网络的文本描述方法

图像的文本化描述解决图像理解的高级语义问题。由于存在语义鸿沟,导致自动生成的文本与图像内容有较大差异,浅层神经网络构建的语言模型很难生成通顺的语句。为此,提出图像语义相似性神经网络,在递归神经网络的输出层之后添加全连接网络,引入图像间的视觉相似性和文本相似性信息,从而在预测图像的文本描述时保持相似图像的有效语义信息。增加栈式隐层和普通隐层的深度来提高语言模型的学习能力,最终得到接近自然语言的文本。实验结果表明,该方法在BLEU、ROUGE、METEOR和CIDEr等评价指标上均取得较好的效果,能够生成符合图像内容的高质量文本描述。     

融合注意力和动态语义指导的图像描述模型

针对当前图像语义描述生成模型对图像内目标细节部分描述不充分问题,提出了一种结合图像动态语义指导和自适应注意力机制的图像语义描述模型。该模型根据上一时刻信息预测下一时刻单词,采用自适应注意力机制选择下一时刻模型需要处理的图像区域。此外,该模型构建了图像的密集属性信息作为额外的监督信息,使得模型可以联合图像语义信息和注意力信息进行图像内容描述。在Flickr8K和Flickr30K图像集中进行了训练和测试,并且使用了不同的评估方法对所提模型进行了验证,实验结果表明所提模型性能有较大的提高,尤其与Guiding-Long Short-Term Memory模型相比,得分提高了4.1、1.8、2.4、0.8、3.1,提升幅度达到6.3%、4.0%、7.9%、3.9%、17.3%;与Soft-Attention相比,得分分别提高了1.9、2.4、3.3、1.5、2.74,提升幅度达到2.8%、5.5%、11.1%、7.5%、14.8%。     

基于语义分割的全卷积图像描述模型

为快速生成准确描述图片内容的语句,提出语义分割和卷积神经网络(convolutional neural network, CNN)相结合的图像描述方法。将图像分类模型和语义分割模型结合为编码器,增强对图像语义信息的利用,采用CNN代替长短时记忆网络(long short term memory, LSTM)作为解码器生成完整描述性语句。通过在MSCOCO数据集上与5种主流算法的对比实验可知,以CNN作为解码器能够大幅提高解码速度,语义信息的增强能够有效提高实验精度,验证了该方法的有效性和可行性。     

基于深度注意力的融合全局和语义特征的图像描述模型

现有的图像描述模型使用全局特征时受限于感受野大小相同,而基于对象区域的图像特征缺少背景信息。为此,提出了一种新的语义提取模块提取图像中的语义特征,使用多特征融合模块将全局特征与语义特征进行融合,使得模型同时关注图像的关键对象内容信息和背景信息。并提出基于深度注意力的解码模块,对齐视觉和文本特征以生成更高质量的图像描述语句。所提模型在Microsoft COCO数据集上进行了实验评估,分析结果表明该方法能够明显提升描述的性能,相较于其他先进模型具有竞争力。     

融合多重视觉特征与语义信息的图像描述生成

针对图像描述模型中对语义信息考虑不足,循环神经网络收敛速度慢与精度低等问题,提出一种基于多注意力融合的深层图像描述模型。通过对图像中提取到的内容信息以及文本描述信息分配不同的权重,达到提升精度的效果,融合MOGRIFIER网络解决循环神经网络收敛速度缓慢的问题。使用改进模型与传统模型在数据集MSCOCO上进行对比实验,实验结果表明,该方法能够生成更加准确的描述,在BLEU与CIDEr等关键指标上有明显提升。     

基于多特征提取的图像语义描述算法

针对图像语义描述方法中存在的图像特征信息提取不完全以及循环神经网络(RNN)产生的梯度消失问题,提出了一种基于多特征提取的图像语义描述算法.所构建模型由三个部分组成:卷积神经网络(CNN)用于图像特征提取,属性提取模型(ATT)用于图像属性提取,而双向长短时记忆(Bi-LSTM)网络用于单词预测.该模型通过提取图像属性...     

图像层次语义描述的初步研究

关于图像情感的研究主要在心理学和工程学两个领域进行.现有的标准刺激材料来源有限,工程学图像情感研究缺乏专用的刺激材料库,更没有建立涉及对象语义层次的刺激材料群,极大地限制了图像情感的研究.通过对现有刺激材料库的比较和确定对象语义描述,对筛选出的刺激图像进行多层语义标注,形成标注文档并建立图像层次语义描述体系.     

同步融合视觉与语义信息的图像描述模型

针对现有图像描述方法将视觉和语义信息单独处理、缺乏结构化信息和忽略全局信息的问题,提出一种同步融合视觉与语义信息的图像描述模型(SG-sMLSTM)。通过融合图像全局特征和候选区域的多模态特征增强和细化图像视觉信息,基于场景图实现结构化语义信息编码;解码部分设计sMLSTM结构,利用注意机制同步动态融合视觉和语义信息,使模型在每个时间步接收更全面的信息,自适应选择关注更关键的区域。基于MSCOCO数据集的实验结果表明,该模型能够产生更准确的描述语句,在评价指标得分上与基线方法相比有约3%的提升。     

基于语义模型的人运动图像跟踪

计算机视觉研究中，为了实施对人运动图像的跟踪，本文提出了基于变化区域的对象刚体标注法和语义模型跟踪法，通过对标注的刚体特征点在空间位移的估算，结合特征点在水平面上投影所形成的特征码来构成刚体的运动语义数学模型，从语义模型来计算特征点的运动位置，从而实现对人运动的跟踪，对于人的复杂运动描述也具有参考价值。     

基于BOM本体的概念模型语义研究

模型的语义是模型语义重用、互操作和组合的基础,针对模型语义没有一个精确定义的问题,采用基本对象模型（BOM）规范中的概念模型来定义模型的状态转换、模型之间的交互关系,在基本对象模型规范的约束下给出了概念实体的语义模型,并通过基于描述逻辑的本体来描述基本对象模型规范和语义模型,将模型的语义匹配转化为本体查询和推理,给出了查询语义模型的方法,实验结果表明,语义模型能够很好地定义模型的不同语义,通过语义查询方法可以快速找到期望的模型,提高仿真系统建模的效率。     

基于图像语义模型识别的道路汽车跟踪

在道路汽车跟踪算法研究中,论文提出了基于场景和运动主体模型的目标跟踪法,通过提取道路与汽车的高层信息属性,建立基于主体运行知识结构与操作方法的语义模型,实施对汽车的运动跟踪。这种目标跟踪算法体现了主体运行意图和操作的知识表达,丰富了目标跟踪算法的研究。     

基于高层语义及相关反馈的图像检索

在基于内容的图像检索基础上,提出了基于高层语义词和颜色词检索。在交互过程中充分发挥人的作用,系统不断自动地从图片中提取高层语义特征,并结合相关反馈技术优化系统性能。实验结果表明,系统取得了较好的性能。     

iFind: 一个结合语义和视觉特征的图像相关反馈检索系统

给出了一个结合语义与视觉特征信息的图像相关反馈检索系统－－iFind。系统通过图像的标注信息构造语义网络,并在相关反馈中与图像的视觉特征相结合,有效地实现了在两个层次上的相关反馈,在基于内容的图像检索中取得了较为理想的效果,具有一定的应用价值。     

关于BAN逻辑的语义模型的分析与改进

该文针对BAN逻辑及其语义模型的不足之处,提出了改进后的定义,它比BAN原作者们所提供的信念定义更加合理。     

PROMELA语义引擎执行研究

模型检查工具SPIN的核心是PROMELA语言,对PROMELA语言执行方式的理解决定所描述系统模型的行为方式。该文从语义角度研究了PROMELA语义引擎问题。首先给出PROMELA语法的抽象对象模型形式化定义,然后给出一个算法来实现PROMELA语法到抽象对象模型的映射,描述了PROMELA指称语义。     

汽车造型特征中的产品语义初探

设计是造型艺术的一个过程,汽车设计也是如此:其造型意识通过哪些形态来表现;其基本特征诠释着怎样的语义内涵;如何用此内涵来满足消费者日益高涨的精神需求;如何用此内涵来诠释使用者深层次的心理需求;又在如此激烈的市场面前以何种姿态走向何方。