基于语义轨迹的视频事件探测

视频事件探测是视频内容自动理解领域的一个重要研究问题.在视频事件探测中,感兴趣对象的运动轨迹常被作为视频中探测事件的一种重要依据.目前基于轨迹的事件探测方法主要集中于根据轨迹几何特征进行视频事件探测,而忽略了与轨迹相关的语义信息.然而我们知道,轨迹的产生往往受到一些与轨迹相关联的语义信息的影响,如轨迹产生时的地理信息等.将轨迹相关联的语义信息整合到轨迹中可以使我们了解更多关于轨迹的信息.语义轨迹为我们提供了一个将语义信息与轨迹信息有效整合的方法.该文将语义轨迹应用到视频事件探测领域,提出了一个基于语义轨迹的视频事件探测方法.该方法将视频中抽取的感兴趣对象的原始轨迹转化为语义轨迹,并根据语义轨迹探测可能的视频事件.同时该方法还提供了一个描述语义轨迹特征以及对语义轨迹与轨迹特征进行匹配的方法.最后我们通过实验分析验证了基于语义轨迹的视频事件探测方法的有效性.     

基于图模型的足球视频语义建模方法

视频低层特征和高层语义之间存在的“语义鸿沟”是视频分析与检索应用研究的一个技术瓶颈问题。通过深入分析,提出了足球视频语义内容的时空关联特性,尝试引入图模型方法来建模这种语义关联,提出了视频语义图（VSU)的语义建模方法和基于DFS的视频语义图匹配算法,并分析了算法的复杂性。实验结果显示,该方法能够有效解决视频语义内容建模和分析匹配问题。     

一种体育视频中广告牌商标的实时识别算法

近期, 体育视频分析中的广告牌商标的探测和识别方法已经广泛应用于许多其他领域, 比如商业电视. 基于此, 提出了一种能在不同体育视频(如足球、篮球和F1赛车等)中进行广告牌商标实时识别的算法, 该算法主要包括两个步骤, 首先, 利用基于模糊决策树的方法进行广告牌图像帧的探测; 其次, 利用颜色特征和局部SIFT (Scale-invariant feature transform)特征来描述不同商标的外观, 并最终通过基于潜在语义分析(Latent semantic analysis, LSA)的SIFT词汇匹配来识别所给定的商标模板. 初步的实验表明了本文算法的有效性, 并且该算法能在实时情况下运行.     

基于分层语义的体育视频标注及索引研究

如何在海量的图像、视频和音频数据中快速找到用户关心的内容是检索领域研究的热点之一.从体育视频结构的特点出发,分析并给出一种语义标注及分层索引方法,对于一个体育视频数据,可通过与特征库匹配自动完成视频数据标注.检索时根据分层分级结构索引,能快速定位搜索范围,并根据用户反馈信息,执行一个新的动态学习检索过程,提高检索效率.     

室内场景视频结构化描述系统设计

视频结构化描述是对一种视频内容信息提取和应用的技术,它对视频内容按照语义关系,采用时空分割、特征提取、对象识别等处理手段,组织成可供计算机和人理解的文本信息的技术。本文介绍基于该技术的室内场景描述系统方案,系统实现对室内场景的描述以及相关描述数据的存储和分发。结果表明经过结构化描述的视频可提高应用效率。     

稠密子图发现的视频语义挖掘方法

目前基于内容的视频语义挖掘方法并未考虑到视频的多模态特性,不能够实现对于目前海量涌现视频的自动分析处理任务。针对此问题,提出了基于稠密子图发现的视频语义挖掘方法。该方法对待处理的视频进行中文连续语音识别、视频目标识别和视频文字识别,对于识别结果进行中文分词和词性标注,保留名词和动词作为图模型的顶点,顶点之间的边权重设置为两个顶点所代表的词语的中文语义距离,根据稠密子图发现算法挖掘视频的语义信息。实验结果表明这种方法是有效的。     

相似动画视频片段探测方法

为了实现相似视频片段的快速探测,以动画视频片段为研究对象,提出一种建立在视频单元层上的动画视频片段探测方法.在视频特征描述阶段,采用更符合动画图像的Markov平稳特征来描述动画视频帧的视觉特征,并利用视频距离轨迹(VDT)来挖掘视频片段特征,同时采用线性拟合特征的描述方法来描述VDT的特征;在特征匹配阶段,将视频片段匹配问题转换为网络流优化的问题,通过将视频单元的时间一致性嵌入到匹配网络中来寻找最佳对齐方式,大幅度减少了匹配的数据量.实验结果表明,该方法极大地改善了相似视频片段的探测效果,与传统的视频匹配方法相比,其具有更好的鲁棒性以及更高的效率.     

综合利用形状和颜色特征的台标识别

电视台台标是一个电视台的标志,包含了该电视台台名、节目取向等重要语义信息,是实现视频分析、理解和检索的重要语义源之一.本文根据台标的时空视觉特征,提出基于时空不变区域检测的方法来进行台标分割,并提出对台标特征用空间分布直方图和基于HSV空间的彩色直方图相结合的方法进行描述,最后用支持向量机进行台标识别.实验表明该算法识别正确率较高,效果基本令人满意.     

语言结构引导的可解释视频语义描述

视频描述技术旨在为视频自动生成包含丰富内容的文字描述,近年来吸引了广泛的研究兴趣.一个准确而精细的视频描述生成方法,不仅需要对视频有全局上的理解,更离不开具体显著目标的局部空间和时序特征.如何建模一个更优的视频特征表达,一直是视频描述工作的研究重点和难点.另一方面,大多数现有工作都将句子视为一个链状结构,并将视频描述任务视为一个生成单词序列的过程,而忽略了句子的语义结构,这使得算法难以应对和优化复杂的句子描述及长句子中易引起的逻辑错误.为了解决上述问题,提出一种新颖的语言结构引导的可解释视频语义描述生成方法,通过设计一个基于注意力的结构化小管定位机制,充分考虑局部对象信息和句子语义结构.结合句子的语法分析树,所提方法能够自适应地加入具有文本内容的相应时空特征,进一步提升视频描述的生成效果.在主流的视频描述任务基准数据集MSVD和MSR-VTT上的实验结果表明,所提出方法在大多数评价指标上都达到了最先进的水平.