基于用户兴趣语义的视频关键帧提取

目前,视频关键信息提取技术主要集中于根据视频低层特征进行关键帧的提取,忽略了与用户兴趣相关的语义信息。对视频进行语义建模需收集大量已标注的视频训练样本,费时费力。为缓解这一问题,使用大量互联网图像数据构建基于用户兴趣的语义模型,这些图像数据内容丰富、同时涵盖大量事件信息;然而,从互联网获取的图像知识多样且常伴随图像噪声,使用蛮力迁移将大幅影响视频最终提取效果,提出使用近义词联合权重模型衡量互联网中存在差异但语义相近的图像组,并利用这些图像组构建语义模型。通过联合权重学习获取语义权重,每一图像组在知识迁移中所起的作用由权重值决定。使用来自不同视频网站的多段视频对所提方法进行验证,实验结果表明对用户感兴趣的内容进行联合权重语义建模能更加全面、准确地获取信息,从而有效指导视频关键帧提取。     

基于内容的视频片段检索技术研究

深入分析和总结了片段检索方法的关键技术,主要包括视频片段的表达、片段的相似性度量、相似片段的自动分割和相似片段的排序,介绍目前已有的片段检索方法及其各自的优缺点,提出一些这一领域的难点和值得进一步研究的问题.     

视频片段检索研究综述

视频片段检索旨在利用用户给出的自然语言查询语句,在一个长视频中找到最符合语句描述的目标视频片段.视频中包含丰富的视觉、文本、语音信息,如何理解视频中提供的信息,以及查询语句提供的文本信息,并进行跨模态信息的对齐与交互,是视频片段检索任务的核心问题.系统梳理了当前视频片段检索领域中的相关工作,将它们分为两大类：基于排序的方法和基于定位的方法.其中,基于排序的方法又可细分为预设候选片段的方法和有指导地生成候选片段的方法,而基于定位的方法则可分为一次定位的方法和迭代定位的方法.同时对该领域的数据集和评价指标进行了介绍,并对一些模型在多个常用数据集上的性能进行了总结与整理.此外,介绍了该任务的延伸工作,如大规模视频片段检索工作等.最后,对视频片段检索未来的发展方向进行了展望.     

一种足球视频精彩事件检测方法

限于当前的技术水平,视频检索技术难以在底层特征与高层语义之间建立通用的视频分析模型。文中结合足球视频的领域知识,着重分析了一类特殊的语义事件——精彩事件,基于统计的方法提出了动态贝叶斯网络事件检测模型,以及相应的学习和推理算法。实验结果表明,该方法可有效地提取足球视频中的精彩语义事件,具有较高的查全率和查准率,较强的鲁棒性,是一种很有前景的视频语义事件检测方法;同时证明了,通过结合某一领域知识,底层特征与高层语义之间是可以建立起某种联系的。     

一种足球视频精彩事件检测方法

限于当前的技术水平,视频检索技术难以在底层特征与高层语义之间建立通用的视频分析模型.文中结合足球视频的领域知识,着重分析了一类特殊的语义事件--精彩事件,基于统计的方法提出了动态贝叶斯网络事件检测模型,以及相应的学习和推理算法.实验结果表明,该方法可有效地提取足球视频中的精彩语义事件,具有较高的查全率和查准率,较强的鲁棒性,是一种很有前景的视频语义事件检测方法;同时证明了,通过结合某一领域知识,底层特征与高层语义之间是可以建立起某种联系的.     

基于视频的字幕检索与提取

在许多视频流如新闻节目、ＶＣＤ中均含有字幕,这些字幕含有丰富的语义信息。本文针对字幕的独有特性,提出了基于视频的字幕检索和提取方法,实验结果令人满意。另外这种方法对于日文、韩文等其它语言字幕的检索也有一定的参考价值。     

视频检索中的关键帧提取技术

关键帧提取技术是实现基于内容的视频检索的关键技术之一。本文对关键帧提取的基本原理、准则和主要的提取方法进行了介绍和分析,指出了当前关键帧提取技术的主要研究方向。     

深度学习视角下视频关键帧提取与视频检索研究

随着互联网技术的高速发展,互联网中的视频数据已经成为其中的重要数据类型,且在安全监控及视频网站当中得到了十分广泛的应用。随着互联网的逐渐普及,视频搜索也有了更大的意义,因此对视频检索技术的研究则是非常重要的。视频关键帧提取则主要体现视频中各个镜头的显著特征,通过视频关键帧提取能够有效减少视频检索所需要花费的时间,并能够增强视频检索的精确度。因此,对于视频关键帧提取与视频检索进行研究是非常有意义的。     

基于关键帧序列的视频片段检索

提出了一种基于关键帧融合的视频片段检索方法。使用特征联合分布直方图将视频分割为子镜头,子镜头用关键帧表示。检索时,对范例视频片段的每个关键帧检索到相似的关键帧,所有的相似关键帧按照时间连续性融合为视频片段。提出一种快速的视频片段相似度计算模型。实验表明,本文的方法快速有效。     

基于视频指纹的视频片段检索方法

提出一种基于视频指纹的视频片段检索方法,通过视频指纹的相似性匹配对视频片段进行检索。通过改进的Harris检测计算DC图像的角点信息,去掉视频图像边缘提取视频运动特征,根据图像特征相似度和运动特征相似度的调和因子得到视频片段总的相似度。实验结果表明,与现有方法相比,该方法能准确检测视频片段,具有较强的鲁棒性,满足视频检索的实时要求。     

Video key frame extraction by unsupervised clustering and feedback adjustment

In video information retrieval,key frame extraction has been recognized as one of the important research issues.Although much progress has been made,the existing approaches are either computationally expensive or ineffective in capturing salient visual content.In this paper,we first discuss the importance of key frame extraction and then briefly review and evaluate the existing approaches.To overcome the shortcominge of the existing approaches,we introduce a new algorithm for key frame extraction based on unsupervised clustring.Meanwhile,we provide a feedback chain to adjust the granularity of the extraction result.The proposed algorithm is both computationally simple and able to capture the visual content.The efficiency and effectiveness are validated by large amount of real-world videos.     

一种基于多模态特征的新闻视频语义提取框架

为提高视频语义信息提取准确率,提出了一种基于多模态特征的新闻视频语义提取框架。在视频中提取主题字幕信息,对音频进行分类和语音识别,根据主题字幕信息借助搜索引擎得到与新闻视频相关的网页;最后利用网页文本对语音识别的结果进行纠错,从而通过视频字幕信息和语音脚本的跨模态融合提高视频语义提取的准确率。在中等规模的新闻视频(含新闻网页)库测试表明了该方法的有效性,经纠错后的语音识别准确率达到了65%左右。     

基于关键帧的动画视频检索研究

在分析了动画视频层次化结构的基础上,针对动画视频的特点,重点介绍了基于关键帧的颜色特征提取方法,并将基于关键帧的检索方法应用于动画视频中,实验验证了该检索方法的有效性。     

基于语义的视频检索技术综述

本文综述了基于语义的视频检索的研究现状,以帮助未来的研究人员了解基于语义的视频检索领域中可用的技术,视频检索系统的产生是为了在互联网或数据库中的大量视频数据集中找到用户想要查询的视频.本文对基于语义的视频检索过程进行了说明与讨论,本文还对基于语义的视频检索中,解决语义鸿沟这一主要问题的相关技术进行了综述.语义鸿沟的形成...     

基于条件笔画密度提取的文本定位方法

为了解决视频检索中文本定位精确度不高的问题,提出一种基于条件笔画密度提取的文本定位方法。根据文本笔画的特征对视频图像中的文本进行初步定位,用基于条件密度的方法滤去一部分非文本区域,再利用动态形态学对提取的文本区域精确定位并对其优化得到最终的文本区域。实验结果表明,该方法能滤去大部分非文本信息,得到相对精确的文本区域,并且定位效果较好。     

基于粒子群的关键帧提取算法

关键帧提取是基于内容的视频检索中的重要一步,为了能够有效地提取出不同类型视频的关键帧,提出一种基于粒子群的关键帧提取算法。该方法首先提取出视频中每帧的全局运动和局部运动特征,然后通过粒子群算法自适应地提取视频关键帧。实验结果表明,采用该算法对不同类型的视频提取出的关键帧具有较好的代表性。     

面向视频场景内容检索的文本解析工具设计与实现

在足球赛事视频的应用背景下,分析了面向视频场景内容检索的文本解析关键技术,设计并实现了面向视频场景内容检索的文本解析工具。该工具利用中文分词技术分割自然语言文本,通过汉语语法规则提取关键词,采用加权算法对关键词排序,并将关键词映射到知识表达集,从而获得关键词的语义信息,完成文本解析。实验结果表明,该工具能够满足自然语言文本的视频检索需求。     

自然保护区海量视频数据快速分析与检索

近年来,随着视频监控系统在自然保护区的大量部署,如何有效利用日益增加的海量视频监控数据成为亟待解决的难题.通过基于图像相似度的关键帧提取算法对海量视频数据进行清洗和压缩,同时利用基于深度学习的目标检测算法提取关键帧中的有效视频信息,并提供多种基于内容的视频检索方式,自动对用户提交的检索内容进行分析与处理,从而快速检索出感兴趣的视频.通过对青海湖野生动物视频监控数据进行分析与检索,验证了该系统的有效性.