基于频繁镜头集合的视频场景分割方法

提出一种基于全局场景特征在视频序列中寻找频繁镜头集合,并通过局部语义特征精确定位视频场景边界的视频场景分割方法。首先对分析视频进行高精度镜头分割,选取具有代表性的镜头关键帧。然后提取各镜头关键帧的全局场景特征和局部特征,并利用局部特征聚类得到的视觉词对各个镜头关键帧进行语义标注。接下来计算基于全局场景特征的镜头间相关性,结合视频场景的概念和特性,在镜头关键帧序列中寻找局部频繁出现的相关性高的镜头集合,粗略定位视频场景位置。最后利用镜头关键帧的语义标注特征精确定位视频场景边界。实验证明该方法能够准确、有效地检测并定位到大部分视频场景。     

基于声像特征的场景检测 *

视频的结构分析是实现视频基于内容组织和检索的基础。目前 ,已经有很多用于视频镜头分割的成熟算法 ,但准确探测视频场景边界还比较困难。提出了一种融合视频中音频与可视特征进行场景检测的方法。该方法首先分别依据镜头的声、像特征相关性来对镜头进行聚类 ,然后综合处理依声、像相关性得到的镜头聚类来获取场景。实验结果证明 ,此方法较一般使用单一特征的场景检测方法提高了探测的准确率 ,同时也降低了误判率。     

基于决策树的MPEG视频镜头分割算法

压缩视频镜头的分割是视频内容分析中的一个难点,由于镜头在组织和索引视频中起关键性的作用,提出了一种基于决策树的MPEG视频镜头分割算法。该算法采用决策树这种机器学习方法对样本视频进行训练,通过融合运动信息、颜色、边缘等特征获得镜头分割的最佳阈值,较好地解决了压缩视频处理中检测镜头突变和渐变难题,同时还能够检测出镜头是否产生闪光现象和相机运动的产生。实验证明本算法在压缩视频镜头检测方面取得了较好的检测结果。     

视频检索中镜头分割方法综述

视频序列的镜头分割亦称镜头变化检测是视频检索中的关键技术之一。镜头变化是指视频序列中场景内容的变化。该文介绍了目前镜头分割的常用方法,包括灰度分割法、边缘分割法、彩色直方图分割法、MPEG视频的分割方法、块匹配镜头分割方法、统计判决镜头分割方法、基于聚类的镜头分割方法、镜头渐变的检测等,指出了研究场景内容的表征方法、特征提取方法、特征的检测尺度以及稳健可靠的实用镜头分割方法是目前主要的研究方向。     

基于主色跟踪和质心运动的视频场景分割 *

传统的场景分割方法中往往通过比较关键帧来测量镜头间的相似度而忽略了镜头内的时域信息 ,针对这种缺陷提出一种基于主色跟踪和质心运动的视频场景分割的方法。首先 ,在量化的 HSV空间中 ,利用主色跟踪所得镜头的时间信息结合帧颜色直方图得到镜头的主色直方图 ,并且引入镜头质心特征向量的概念 ,通过其与帧向量的差异性获得镜头的运动信息 ;然后将所测得的镜头相似度用在改进的双向滑动窗口法中检测场景。实验结果验证了该方法的有效性。     

基于图像分割和对象跟踪的新闻视频镜头边界检测方法

镜头边界检测是许多多媒体应用的一个重要步骤,而现有的镜头边界检测方法大都是首先提取视频帧低层视觉特征,然后构造相异性测度函数,但由于这些方法对低层特征变化、对象运动、摄像机运动和视频质量较敏感,为克服此问题,提出了一种基于图像分割和对象跟踪的镜头边界检测方法。该方法首先采用分区直方图对镜头进行预检,然后利用基于小波分析的无监督图像分割和对象跟踪技术,通过构造相异性测度函数来对镜头边界进行确认。由于分区直方图方法作为第１过滤器,可有效地减少图像分割和对象跟踪的视频帧数目,从而提高了整个算法的效率,而基于小波变换的无监督图像分割和对象跟踪,则对以上问题具有较好的鲁棒性。在3个多小时的CCTV和CNN新闻视频实验中,获得了972%查准率和964%的查全率。     

一种自动门限选取的视频Shot分割方法

文中首先针对镜头Ｓｈｏｔ分割在基于内容的视频检索中的重要性,介绍了现在普遍采用的镜头分割新方法,同时针对这些方法的不足,提出一种基于自动门限选取的镜头分割及分类方法,该方法能同时检测视频中的突变,缓变等镜头变换和视频中的闪光灯以及运动区域。通过实际测试,结果表明算法能够有效地对视频领事进行镜头分割。     

基于粗糙集和模糊聚类的新闻视频镜头边界检测方法

为了将视频分割成镜头,目前的方法都是提取某些特征然后构造不同的相异性函数。然而,太多的特征就会降低镜头分割算法的效率。因此,有必要对每一个镜头检测决策进行特征约简。基于此,提出了基于粗糙集和模糊聚类的分类方法并得到了相应的决策规则。针对新闻场景的特殊性,将镜头分割成突变过渡、渐变过渡以及无场景变化3类。用超过2个小时的新闻视频所做的实验获得了96.5%的查全率和97.9%的准确率。     

镜头内容分析及其在视频检索中的应用

提出了一种镜头内容分析方法及其在视频检索中的两个应用:镜头检索与场景结构提取.为了刻画一个镜头的内容变化,首先引入两个新的内容描述子:主色直方图和空间结构直方图.主色直方图能够捕捉那些持续时间最长的颜色,而这些颜色是这段视频所关注的对象或背景的主要颜色.从颜色块图提取的空间结构直方图是描述图像空间信息的一组特征.一个变化较大的镜头可以划分为几个内容一致的子镜头,两个镜头的相似性可以从对应子镜头的相似性计算得到.镜头相似性度量可以直接用于镜头检索,还可用于场景结构提取.另外,还提出分裂与合并力量竞争的场景结构提取方法.在大容量视频数据库上进行实验所得结果证实了该方法在镜头检索和场景提取的优异表现.     

基于语义的体育视频场景分割方法

以网球视频为例,提出一种基于语义的体育视频场景分割方法。基于网球视频的先验知识设计一个具有6个语义场景的分类器,并根据各个场景的视觉特点提取球场地标线连接点、球场颜色、相机运动模式和人物等可感知特征作为特征。利用支持向量机技术对视频镜头进行语义分类,并给出一种利用聚类提取示例的主动学习算法。对大量网球视频进行实验,结果表明该方法能够得到比传统方法更好的效果。     

一种有效的视频场景检测方法

合理地组织视频数据对于基于内容的视频分析和应用有着重要的意义。现有的基于镜头的视频分析方法由于镜头信息粒度太小而不能反映视频语义上的联系，因此有必要将视频内容按照高层语义单元——场景进行组织。提出了一种快速有效的视频场景检测方法，根据电影编辑的原理，对视频场景内容的发展模式进行了分类，给出了场景构造的原则；提出一种新的基于滑动镜头窗的组合方法，将相似内容的镜头组织成为镜头类；定义了镜头类相关性函数来衡量镜头类之间的相关性并完成场景的生成。实验结果证明了该方法的快速有效性。     

一种基于均值漂移的视频场景检测方法

提出了一种高效的视频场景检测方法。首先基于均值漂移,在滑动镜头窗内对各镜头聚类,并获得相应的聚类中心,然后根据电影视频场景的发展模式,计算两个镜头类之间的时序距离,接着基于时空关系进行场景检测,并且由相应的聚类中心获得场景关键帧,最后对场景过分割进行后续处理。实验证实该方法能快速聚类,并且有效地检测出场景和场景关键帧。     

A cinematic-based framework for scene boundary detection in video

Most current video retrieval systems use shots as the basis for information organization and access. In cinematography, scene is the basic story unit that the directors use to compose and convey their ideas. This paper proposes a framework based on the concept of continuity to analyze video contents and extract scene boundaries. Starting from a set of shots, the framework successively applies the concept of visual, position, camera focal distance, motion, audio and semantic continuity to group shots that exhibit some form of continuity into scenes. The framework helps to explain the principles and the heuristics behind most cinematic rules. The idea is tested using the first three levels of continuity to extract the scenes defined using the most common cinematic rules. The method has been found to be effective.     

Scene Detection in Videos Using Shot Clustering and Sequence Alignment

Video indexing requires the efficient segmentation of video into scenes. The video is first segmented into shots and a set of key-frames is extracted for each shot. Typical scene detection algorithms incorporate time distance in a shot similarity metric. In the method we propose, to overcome the difficulty of having prior knowledge of the scene duration, the shots are clustered into groups based only on their visual similarity and a label is assigned to each shot according to the group that it belongs to. Then, a sequence alignment algorithm is applied to detect when the pattern of shot labels changes, providing the final scene segmentation result. In this way shot similarity is computed based only on visual features, while ordering of shots is taken into account during sequence alignment. To cluster the shots into groups we propose an improved spectral clustering method that both estimates the number of clusters and employs the fast global k-means algorithm in the clustering stage after the eigenvector computation of the similarity matrix. The same spectral clustering method is applied to extract the key-frames of each shot and numerical experiments indicate that the content of each shot is efficiently summarized using the method we propose herein. Experiments on TV-series and movies also indicate that the proposed scene detection method accurately detects most of the scene boundaries while preserving a good tradeoff between recall and precision.     

一种基于镜头的视频场景检测方法

在数字视频的分析、浏览、检索中,现有的以镜头为基础的方法由于镜头粒度信息太小而不能表达视频语义上的联系,因此有必要将视频内容按照高层语义单元——场景进行组织。从分析视频剪辑的基本原则入手,给出了一种视频场景构造方法;首先使用改进了的像素匹配二次差分法结合双阈值法进行镜头突变和渐变的检测,然后对镜头内的帧间距离进行判断来提取关键帧;提出了一种基于双滑动镜头窗口的聚类方法,将内容相似语义相同的镜头聚合在一起形成新的场景。试验表明,该方法是有效的。     

Detection and representation of scenes in videos

This paper presents a method to perform a high-level segmentation of videos into scenes. A scene can be defined as a subdivision of a play in which either the setting is fixed, or when it presents continuous action in one place. We exploit this fact and propose a novel approach for clustering shots into scenes by transforming this task into a graph partitioning problem. This is achieved by constructing a weighted undirected graph called a shot similarity graph (SSG), where each node represents a shot and the edges between the shots are weighted by their similarity based on color and motion information. The SSG is then split into subgraphs by applying the normalized cuts for graph partitioning. The partitions so obtained represent individual scenes in the video. When clustering the shots, we consider the global similarities of shots rather than the individual shot pairs. We also propose a method to describe the content of each scene by selecting one representative image from the video as a scene key-frame. Recently, DVDs have become available with a chapter selection option where each chapter is represented by one image. Our algorithm automates this objective which is useful for applications such as video-on-demand, digital libraries, and the Internet. Experiments are presented with promising results on several Hollywood movies and one sitcom.     

Motion-Based Video Representation for Scene Change Detection

In this paper, we present a new framework to automatically group similar shots into one scene, where a scene is generally referred to as a group of shots taken place in the same site. Two major components in this framework are based on the motion characterization and background segmentation. The former component leads to an effective video representation scheme by adaptively selecting and forming keyframes. The later is considered novel in that background reconstruction is incorporated into the detection of scene change. These two components, combined with the color histogram intersection, establish our basic concept on assessing the similarity of scenes.     

一种层次的电影视频摘要生成方法

合理地组织视频数据对于基于内容的视频分析和检索有着重要的意义。提出了一种基于运动注意力模型的电影视频摘要生成方法。首先给出了一种基于滑动镜头窗的聚类算法将相似的镜头组织成为镜头类;然后根据电影视频场景内容的发展模式,在定义两个镜头类的3种时序关系的基础上,提出了一种基于镜头类之间的时空约束关系的场景检测方法;最后利用运动注意力模型选择场景中的重要镜头和代表帧,由选择的代表帧集合和重要镜头的关键帧集合建立层次视频摘要(场景级和镜头级)。该方法较全面地涵盖了视频内容,又突出了视频中的重要内容,能够很好地应用于电影视频的快速浏览和检索。