基于语义轨迹的视频事件探测

视频事件探测是视频内容自动理解领域的一个重要研究问题.在视频事件探测中,感兴趣对象的运动轨迹常被作为视频中探测事件的一种重要依据.目前基于轨迹的事件探测方法主要集中于根据轨迹几何特征进行视频事件探测,而忽略了与轨迹相关的语义信息.然而我们知道,轨迹的产生往往受到一些与轨迹相关联的语义信息的影响,如轨迹产生时的地理信息等.将轨迹相关联的语义信息整合到轨迹中可以使我们了解更多关于轨迹的信息.语义轨迹为我们提供了一个将语义信息与轨迹信息有效整合的方法.该文将语义轨迹应用到视频事件探测领域,提出了一个基于语义轨迹的视频事件探测方法.该方法将视频中抽取的感兴趣对象的原始轨迹转化为语义轨迹,并根据语义轨迹探测可能的视频事件.同时该方法还提供了一个描述语义轨迹特征以及对语义轨迹与轨迹特征进行匹配的方法.最后我们通过实验分析验证了基于语义轨迹的视频事件探测方法的有效性.     

基于深度学习的机坪视频语义检索方法

为能够在一段视频中检索特定事件,提出一种基于深度学习的视频语义检索方法,使用你只看一次(You Only Look Once,YOLO)模型检测视频中的对象,通过聚类分析提取对象的语义轨迹,结合检索到的对象与语义轨迹实现特定事件的视频语义检索功能。实验结果表明,该方法能够满足应用要求。     

融合HCRF和AAM的足球视频精彩事件检测

精彩事件检测在体育视频语义分析领域具有很高的学术研究价值和广泛的市场应用前景.利用隐条件随机场(hidden conditional random field,HCRF)模型在表达和识别语义事件方面的强大功能,创新性地提出了一种融合了HCRF和情感激励模型(affective arousal model,AAM)的精彩事件检测方法.首先,通过精彩事件视频结构语义分析,定义了13种多模态语义线索,以准确描述精彩事件富含的语义信息;其次,在基于概念格的多模态语义线索聚类基础上,添加时域特征信息,以构建特征值加权的情感激励模型,得到了各类精彩事件的情感激励值;最后,在小规模训练样本情况下,有效建立了各类精彩事件检测的HCRF模型,基于视频语义镜头序列、情感激励值序列和精彩事件之间的映射关系,从多模态语义线索、视频结构语义、情感语义等多个维度挖掘了精彩事件的潜在规律,实现了同一HCRF模型下各类精彩事件的同时检测.实验证明了该方法的有效性.     

基于HMM的足球视频语义分析研究

针对视频高层语义分析问题,文章结合足球比赛的领域知识,按照足球比赛转播,视频编辑的一般规律,根据足球比赛语义事件随机性的特点,选择特定的视频物理特征,应用 HMM (隐马尔科夫模型) 分析视频的语义结构,确定视频和HMM 模型中各元素的对应关系,构建一个基于HMM 的视频语义分析框架,并通过进行足球视频 HMM 参数的训练,得到视频各语义事件的 HMM 模型,达到视频语义自动分析的目的.     

一种视频局部高层语义特征提取算法

准确提取视频高层语义特征,有助于更好地进行基于内容的视频检索。视频局部高层语义特征描述的是图像帧中的物体。考虑到物体本身以及物体所处的特定场景所具有的特点,我们提出一种将图像帧的局部信息和全局信息结合起来提取视频局部高层语义特征的算法。在TRECVID2005数据集上的实验结果表明,与单独基于局部或者单独基于全局的方法相比,此方法具有较好的性能。     

一种足球视频精彩事件检测方法

限于当前的技术水平,视频检索技术难以在底层特征与高层语义之间建立通用的视频分析模型.文中结合足球视频的领域知识,着重分析了一类特殊的语义事件--精彩事件,基于统计的方法提出了动态贝叶斯网络事件检测模型,以及相应的学习和推理算法.实验结果表明,该方法可有效地提取足球视频中的精彩语义事件,具有较高的查全率和查准率,较强的鲁棒性,是一种很有前景的视频语义事件检测方法;同时证明了,通过结合某一领域知识,底层特征与高层语义之间是可以建立起某种联系的.     

基于混合模型的事件触发词抽取

事件结构性语法特征与事件语义特征各有优势,二者融合利于准确表征事件触发词,进而有利于完成事件触发词抽取任务。现有的基于特征、基于结构及基于神经网络模型等的抽取方法仅能捕捉事件的部分特征,不能够准确表征事件触发词。为解决上述问题,提出一种融合了事件结构性语法特征和事件语义特征的混合模型,完成事件触发词抽取任务。首先,在初始化向量模型中融入句子的依存句法信息,使初始向量中包含事件结构性语法特征;然后,将初始向量依次传入神经网络模型中的CNN和BiGRU-E-attention模型中,在捕获多维度事件语义特征的同时,完成事件结构性语法特征与事件语义特征的融合;最后,进行事件触发词的抽取。在CEC中文突发语料库上进行事件触发词位置识别和分类实验,该模型的F值较基准模型的分别提高了0.86%和4.07%;在ACE2005英文语料库上,该模型的F值较基准模型的分别提高了1.4%和1.5%。实验结果表明,混合模型在事件触发词抽取任务中取得了优异的效果。     

基于语义的视频检索技术综述

本文综述了基于语义的视频检索的研究现状,以帮助未来的研究人员了解基于语义的视频检索领域中可用的技术,视频检索系统的产生是为了在互联网或数据库中的大量视频数据集中找到用户想要查询的视频.本文对基于语义的视频检索过程进行了说明与讨论,本文还对基于语义的视频检索中,解决语义鸿沟这一主要问题的相关技术进行了综述.语义鸿沟的形成是因为从视频内容中提取的低层特征与现实世界中用户对这些特征的认知存在差异,将视频内容的低层特征转化为高层的语义概念是一个备受关注的研究课题.     

基于语义的中文事件触发词抽取联合模型

中文事件触发词抽取是一项具有挑战性的任务.针对中文事件触发词抽取中存在的事件论元语义信息难以获取以及部分贫信息事件实例难以抽取的问题,提出了基于语义的中文事件触发词抽取联合学习模型.首先,根据中文句子结构灵活和句法成分多省略的特点,提出了基于模式匹配的核心论元和辅助论元抽取方法,这两类论元可以较好地表示论元语义,进一步提高中文事件触发词抽取性能;其次,根据同一文档中关联事件实例间存在的高度一致性,构造了一个关联事件语义驱动的中文事件触发词识别和类型分配二维联合模型,用于抽取贫信息事件实例.在ACE 2005中文语料上的实验结果表明:与现有最好的中文事件抽取系统相比,所提出方法的性能得到了明显提升.