基于声像特征的场景检测 *

视频的结构分析是实现视频基于内容组织和检索的基础。目前 ,已经有很多用于视频镜头分割的成熟算法 ,但准确探测视频场景边界还比较困难。提出了一种融合视频中音频与可视特征进行场景检测的方法。该方法首先分别依据镜头的声、像特征相关性来对镜头进行聚类 ,然后综合处理依声、像相关性得到的镜头聚类来获取场景。实验结果证明 ,此方法较一般使用单一特征的场景检测方法提高了探测的准确率 ,同时也降低了误判率。     

一种基于镜头的视频场景检测方法

在数字视频的分析、浏览、检索中,现有的以镜头为基础的方法由于镜头粒度信息太小而不能表达视频语义上的联系,因此有必要将视频内容按照高层语义单元——场景进行组织。从分析视频剪辑的基本原则入手,给出了一种视频场景构造方法;首先使用改进了的像素匹配二次差分法结合双阈值法进行镜头突变和渐变的检测,然后对镜头内的帧间距离进行判断来提取关键帧;提出了一种基于双滑动镜头窗口的聚类方法,将内容相似语义相同的镜头聚合在一起形成新的场景。试验表明,该方法是有效的。     

一种层次的电影视频摘要生成方法

合理地组织视频数据对于基于内容的视频分析和检索有着重要的意义。提出了一种基于运动注意力模型的电影视频摘要生成方法。首先给出了一种基于滑动镜头窗的聚类算法将相似的镜头组织成为镜头类;然后根据电影视频场景内容的发展模式,在定义两个镜头类的3种时序关系的基础上,提出了一种基于镜头类之间的时空约束关系的场景检测方法;最后利用运动注意力模型选择场景中的重要镜头和代表帧,由选择的代表帧集合和重要镜头的关键帧集合建立层次视频摘要(场景级和镜头级)。该方法较全面地涵盖了视频内容,又突出了视频中的重要内容,能够很好地应用于电影视频的快速浏览和检索。     

一种基于均值漂移的视频场景检测方法

提出了一种高效的视频场景检测方法。首先基于均值漂移,在滑动镜头窗内对各镜头聚类,并获得相应的聚类中心,然后根据电影视频场景的发展模式,计算两个镜头类之间的时序距离,接着基于时空关系进行场景检测,并且由相应的聚类中心获得场景关键帧,最后对场景过分割进行后续处理。实验证实该方法能快速聚类,并且有效地检测出场景和场景关键帧。     

基于频繁镜头集合的视频场景分割方法

提出一种基于全局场景特征在视频序列中寻找频繁镜头集合,并通过局部语义特征精确定位视频场景边界的视频场景分割方法。首先对分析视频进行高精度镜头分割,选取具有代表性的镜头关键帧。然后提取各镜头关键帧的全局场景特征和局部特征,并利用局部特征聚类得到的视觉词对各个镜头关键帧进行语义标注。接下来计算基于全局场景特征的镜头间相关性,结合视频场景的概念和特性,在镜头关键帧序列中寻找局部频繁出现的相关性高的镜头集合,粗略定位视频场景位置。最后利用镜头关键帧的语义标注特征精确定位视频场景边界。实验证明该方法能够准确、有效地检测并定位到大部分视频场景。     

基于镜头的视频场景构造方法研究

由于内容颗粒度地小,镜头层次的检索不能满足视频内容使用的需要。场景比镜头高一个层次的视频内容结构单,能在一定程度上缓解镜头颗粒度过小的问题。“场景”是一组镜头的集合,在内容上包含相似的对象或包含类似的背景。本文提出了一种基于镜头构造频场景的思路,包括三个环节：镜头边界探测,镜头特征提取和镜头聚类。     

视频检索中镜头分割方法综述

视频序列的镜头分割亦称镜头变化检测是视频检索中的关键技术之一。镜头变化是指视频序列中场景内容的变化。该文介绍了目前镜头分割的常用方法,包括灰度分割法、边缘分割法、彩色直方图分割法、MPEG视频的分割方法、块匹配镜头分割方法、统计判决镜头分割方法、基于聚类的镜头分割方法、镜头渐变的检测等,指出了研究场景内容的表征方法、特征提取方法、特征的检测尺度以及稳健可靠的实用镜头分割方法是目前主要的研究方向。     

用无监督模糊聚类方法进行视频内容的分层表示

为了在视频数据库中提供有效的视频检索和浏览功能,必须用简明的方式表示视频的内容。由于视频数据具有层次性结构,在镜头边界检测后,可以利用聚类方法按不同的相似性尺度选取代表帧和代表镜头,对视频内容进行抽象概括的表示。文中提出了一种基于无监督模糊聚类对视频内容进行分层表示的算法,它用无监督聚类方法选取镜头的代表帧,并用模糊聚类算法对代表帧进行层次化聚类以选取代表镜头和代表场景。实验结果表明这种方法可以较好地概括视频的内容,方便用户检索和浏览。     

一种基于镜头聚类的视频场景分割方法

为了更好地进行视频信息检索和浏览,提出了一种利用视觉和运动特征来进行场景分割的方法,该方法在把镜头聚类到场景中时,不仅考虑同一场景内镜头的视觉特征相似性,而且还考虑了镜头的运动特征的一致性。此外,为避免过度分割,还提出了一种方法用来合并过度分割出的场景。实验结果表明,这种方法是有效的。     

基于镜头和情节的视频非线性组织

提出了一种新的基于视频单元的视频非线性组织方案,该方案通过将视频分为情节,镜头,视频流三层,以支持视频的高效摘要、存储和浏览。视频组织采取由下而上的方法,首先通过对镜头单元的检测和镜头关键帧的提取,将视频流按镜头进行组织;然后对情节单元划分的基础上,根据所提出的镜头代表性准则,确定情报的代表帧,达到了将镜头按情节组织的目的。文中着重介绍了所提出的采用分级聚类和模糊和分类选取情节代表帧的算法。根据上     

Scene Detection in Videos Using Shot Clustering and Sequence Alignment

Video indexing requires the efficient segmentation of video into scenes. The video is first segmented into shots and a set of key-frames is extracted for each shot. Typical scene detection algorithms incorporate time distance in a shot similarity metric. In the method we propose, to overcome the difficulty of having prior knowledge of the scene duration, the shots are clustered into groups based only on their visual similarity and a label is assigned to each shot according to the group that it belongs to. Then, a sequence alignment algorithm is applied to detect when the pattern of shot labels changes, providing the final scene segmentation result. In this way shot similarity is computed based only on visual features, while ordering of shots is taken into account during sequence alignment. To cluster the shots into groups we propose an improved spectral clustering method that both estimates the number of clusters and employs the fast global k-means algorithm in the clustering stage after the eigenvector computation of the similarity matrix. The same spectral clustering method is applied to extract the key-frames of each shot and numerical experiments indicate that the content of each shot is efficiently summarized using the method we propose herein. Experiments on TV-series and movies also indicate that the proposed scene detection method accurately detects most of the scene boundaries while preserving a good tradeoff between recall and precision.     

视频层次结构挖掘

视频处理的关键是视频信息的结构化,视频基本结构是由帧、镜头、场景和视频节目构成的层次结构。视频层次结构挖掘的一个简单框架是对视频进行镜头分割、抽取镜头特征和视频场景构造。论文在镜头分割的基础上提出了基于多特征的镜头聚类分析和基于镜头的场景边界检测两种视频场景构造方法,从而实现视频层次结构挖掘。实验表明,基于镜头的场景边界检测性能优于基于多特征的镜头聚类分析。     

一种层次视频摘要生成方法

视频摘要是视频内容的一种压缩表示方式。为了能够更好地浏览视频，提出了一种根据浏览或检索的粒度不同来建立两种层次视频摘要(镜头级和场景级)的思想，并给出了一种视频摘要生成方法：首先用一种根据内容变化自动提取镜头内关键帧的方法来实现关键帧的提取；继而用一种改进的时间自适应算法通过镜头的组合来得到场景；最后在场景级用最小生成树方法提取代表帧。由于关键帧和代表帧分别代表了它们所在镜头和场景的主要内容，因此它们的序列就构成了视频总结。一些电影视频片段检验的实验结果表明，这种生成方法能够较好地提供粗细两种粒度的视频内容总结。     

基于镜头标记与动态滑动窗口的视频摘要生成

提出一种基于镜头标记与动态滑动窗口的视频摘要生成方法。对视频进行镜头分割,利用帧差累积法将镜头分成静态镜头和动态镜头并标记。运用动态滑动窗口,对标记镜头进行归类。提取集合镜头的关键帧,抽取冗余少、涵盖内容丰富的镜头帧,组合成视频摘要。实验结果表明,该方法能快速准确地生成视频摘要。     

Visual Rhythm and Shot Verification

Typical result of an automatic shot change detection algorithm expectedly includes a certain number of undetected shots as well as falsely detected shots. Even though automatic shot change detection algorithms are continuing to improve, the ultimate goal of automatically detecting all shot changes without false alarms may never be achieved. Thus, allowing a human operator to intervene—to review and verify the result of a shot change detection algorithm, to delete falsely detected shots as well as to find undetected shots—may be the most viable approach currently available for increasing the accuracy of the overall shot detection process. For this exact purpose, we propose a shot verifier based on the visual rhythm.The visual rhythm, an abstraction of the video, is a single image, a sub-sampled version of a full video in which the sampling is performed in a pre-determined and in a systematic fashion. It is a representation of the video, which includes the overall content of the video. But most importantly, the visual rhythm contains patterns or visual features that allow the viewer/operator to distinguish and classify many different types of video effects (edits and otherwise): cuts, wipes, dissolves, fades, camera motions, object motions, flashlights, zooms, etc. The different video effects manifest themselves as different patterns on the visual rhythm. Using the visual rhythm, it becomes possible, without sequentially playing the entire video, to find false positive shots as well as undetected shots. Thus, inclusion of the visual rhythm in the shot verification process will aid the operator to verify detected shots as well as to find undetected shots fast and efficiently.Our newly developed shot verifier based on the visual rhythm has been designed for operator efficiency. The design of our shot verifier presented and the usefulness of the visual rhythm during the shot verification process will be demonstrated.