视频信息索引技术的新发展——视频摘要

视频摘要是对视频内容的一个简短的小结。本文介绍的视频摘要的基本概念、视频摘要的分类,并重点介绍了每一类视频摘要实现的关键技术。最后对目前的视频摘要技术作了小结,并展望了今后的发展方向。     

视频摘要

众所周知 ,文本的摘要是对一篇文章的一个简短的小结 .随着对视频数据处理要求的不断提高 ,出现了类似的概念——视频摘要 ,同时也产生了视频摘要技术 .同文本摘要概念相似 ,视频摘要是对视频的一个简短的小结 .为了使人们对视频摘要有一个概略的了解 ,该文首先阐述了视频摘要的基本概念 ,同时简单介绍了视频摘要的应用 ,并在此基础上对视频摘要进行了分类 ;然后重点介绍了每一类视频摘要的实现技术——关键帧提取技术、多特征融合技术等 ;最后对目前视频摘要技术进行了小结 ,并展望了若干发展途径 .     

基于对象的视频摘要技术

视频摘要技术是当前多媒体领域研究的热点之一。视频摘要生成方法归结为两类:基于关键帧的视频摘要和基于对象的视频摘要;对基于关键帧的视频摘要方法做了简要的介绍,并重点总结了历年来出现的基于对象的视频摘要的生成方法。最后对视频摘要技术的发展做出了总结和展望。     

视频摘要技术综述

目的 类似于文本摘要,视频摘要是对视频内容的总结。为了合理地评估视频摘要领域的研究进展,正确导向视频摘要的继续研究,本文归纳总结视频摘要技术的主要研究方法和显著性成果,对视频摘要技术进行综述。方法 依据视频摘要的两个主要生成步骤:视频内容分析和摘要生成分别介绍视频摘要的主要研究方法。同时,分析了近5年视频摘要领域的研究状况,对视频摘要发展的新趋势:实时视频摘要和多视角视频摘要进行了阐述。最后,还对视频摘要的评价系统进行了分类总结。结果 对视频摘要进行综述,对摘要中的语义获取难题提出了2种指导性建议。并依据分析结果,展望了视频摘要技术未来的发展方向。结论 视频摘要技术作为视频内容理解的重要组成部分,有较大研究价值。而目前,视频摘要在视频语义表达和摘要评价系统方面并不精确完善,还需进一步的深入研究。     

典型的视频摘要系统及其对比*

视频摘要是以自动或半自动的方式对视频的结构和内容进行分析,从原视频中提取出有意义的部分,并将它们以某种方式进行组合,形成简洁的能够充分表现视频语义内容的视频概要。重点介绍了几个典型的视频摘要系统及其涉及到的一些关键技术,并对这些典型的视频摘要系统进行对比,最后对视频摘要技术进行总结与展望。     

基于内容的监视视频摘要技术研究

介绍了视频摘要的相关概念、作用以及视频摘要所涉及到的一些关键技术,探讨了视频结构化的主要步骤,在分析监视视频特征的基础上,给出了一个基于内容的监视视频摘要系统模型。     

基于内容的监视视频摘要技术研究

介绍了视频摘要的相关概念、作用以及视频摘要所涉及到的一些关键技术,探讨了视频结构化的主要步骤,在分析监视视频特征的基础上,给出了一个基于内容的监视视频摘要系统模型。     

视频摘要技术研究*

对视频摘要技术进行了研究,将视频摘要按其表现形式分为以标题、关键帧和故事板为代表的静态视频摘要以及以缩略视频为代表的动态视频摘要,并对其中涉及的关键技术进行了探讨,最后对视频摘要技术未来的发展方向进行了总结与展望。     

一种家庭视频摘要生成的新方法

计算机硬件的发展使家用计算机具有处理和存储视频资料的能力，而家用数字摄像设备的普及使家庭视频的数量越来越多，家庭用户对视频摘要技术的需求也越来越强烈。在回顾现有视频摘要相关的概念、分类和技术，以及分析家庭视频的特征基础上，给出了家庭视频摘要的特点，并提出了一个面向家庭视频的视频摘要算法。     

视频摘要的现状和研究进展*

首先概述了视频摘要的概念和分类、视频摘要生成方法及视频摘要模型的建立,综述了国内外视频摘要系统。最后探讨了视频摘要的性能评估、存在问题和发展方向。     

基于流形学习和混合模型的视频摘要方法

视频摘要是进行视频浏览、视频检索、视频索引等视频应用的前提,而且视频摘要类似于文本的摘要,也是对视频内容的一个简短概括。为了自动获得既包含视频的主要信息,而冗余信息又少的视频摘要,提出了一种基于流形学习和有限混合模型的自动视频摘要方法。该方法通过对视频序列进行流形建模,首先得到视频场景的初次分割;然后对包含内容较多的场景,使用等距降维方法计算视频帧的特征向量;最后将视频帧的特征向量输入到混合模型进行聚类分析,得到更细粒度的摘要结果。为了实现视频摘要的自动处理,所采用的混合模型需要具有模型选择功能。混合模型的聚类结果和流形建模的结果共同构成了视频摘要。视频分割片段的实验结果表明,在不需人为干预的情况下,所提供的视频摘要不仅包含视频主要内容,而且冗余信息少。     

Event-Driven Video Abstraction and Visualization

In this paper, we propose a new video summarization procedure that produces a dynamic (video) abstract of the original video sequence. Our technique compactly summarizes a video data by preserving its original temporal characteristics (visual activity) and semantically essential information. It relies on an adaptive nonlinear sampling. The local sampling rate is directly proportional to the amount of visual activity in localized sub-shot units of the video. To get very short, yet semantically meaningful summaries, we also present an event-oriented abstraction scheme, in which two semantic events; emotional dialogue and violent action, are characterized and abstracted into the video summary before all other events. If the length of the summary permits, other non key events are then added. The resulting video abstract is highly compact.     

基于视频序列的平面海报生成方法

视频摘要是海量视频浏览的重要手段,现有的方法一般生成短帧视频或多帧序列图像以概括原视频,但它们都受限于原有时间序列,难以高效地表达信息.为此,提出了一种视频海报的自动生成方法来制作更为精练的视频摘要.如何提取视频中的关键画面与如何实现海报自动排版是其中的2个核心问题.对现有的视频关键帧提取方法进行扩展,采用综合视觉关注度模型,提出了基于视觉重要性的关键帧排序算法;在现有排版规则基础上,增加了版面位置对视觉心理感知的影响,设计出位置重要性驱动的视频海报自动排版算法.实验结果证明了文中算法的有效性.     

Semantic Based Prefetching in News-on-Demand Video Servers

In video databases, a video document has two abstractions. The high level abstraction corresponds to the view in which the contents of that video document are seen by end users, and the low level abstraction corresponds to the physical organization of that video document. Due to the huge size of continuous data, reducing I/O has become a key issue. The latter has been mostly addressed by developing appropriate buffering techniques. In addition, prefetching techniques play a major role to meet the video data requirements. In this paper, we propose a novel prefetching strategy based not only on run-time information (objects access frequencies for example) but also on knowledge about clips structures. The proposed technique merges the two views of a video document to trigger prefetching at the video server level. Simulation experiments for a News-on-Demand application performed on different request scenarios show an improvement of about 18% in the buffer hit-rate with respect, first to the available buffer size and second to the request arrival rate.     

一种基于K-L变换和聚类的视频摘要方法*

提出了一种基于K-L变换和聚类的视频摘要方法。首先通过对视频帧原始RGB空间进行K-L变换,得到由主轴构成的参数模型;其次运用滑动窗口法进行镜头检测;再次,根据最邻近规则对每个镜头的视频帧进行聚类;最后通过后处理优化聚类结果,提取最靠近聚类中心的帧作为关键帧,组成视频摘要。以新闻视频为例,实验结果证明了算法的有效性。     

基于局部-空间模型的视频摘要研究与设计

介绍视频摘要技术以及缩略视频的3类研究方法,提出一种基于局部-空间模型的视频摘要研究方法.通过对视频序列的帧内与帧间信息的分析得到关键帧,对提取出的关键帧进行双线性插值形成视频段,运用DirectShow开发软件的DES对视频段编辑融合成最终的动态视频摘要.实验结果表明,在不需要人工干预的情况下,自动生成的视频摘要不仅...     

一种层次视频摘要生成方法

视频摘要是视频内容的一种压缩表示方式。为了能够更好地浏览视频，提出了一种根据浏览或检索的粒度不同来建立两种层次视频摘要(镜头级和场景级)的思想，并给出了一种视频摘要生成方法：首先用一种根据内容变化自动提取镜头内关键帧的方法来实现关键帧的提取；继而用一种改进的时间自适应算法通过镜头的组合来得到场景；最后在场景级用最小生成树方法提取代表帧。由于关键帧和代表帧分别代表了它们所在镜头和场景的主要内容，因此它们的序列就构成了视频总结。一些电影视频片段检验的实验结果表明，这种生成方法能够较好地提供粗细两种粒度的视频内容总结。     

互联网视频摘要信息自动抽取

提出一种识别视频播放页,并从中抽取视频摘要信息的方法,播放页的自动识别是通过三个判定要素的运用来实现,播放页内摘要信息的抽取是通过依次去除背景噪声、随机噪声、残留噪声来实现。有关实验结果表明,该方法具有较好的通用性。