Shot boundary refinement for long transition in digital video sequence

Shot boundary detection, or scene change detection, is a technique used in the initial step of video indexing. With the recent introduction of object-based shot boundary detection technique, the deficiency of traditional detection techniques in handling long transitions has been overcome. However, such a technique merely detects the existence of a transition without giving accurate positions of the transition start and end for long transitions. Shot boundary refinement fills this gap by pinpointing the exact location of the shot boundary regardless of the transition types. This paper presents the theories behind the transition and classifies existing transition types. A novel shot boundary refinement algorithm is then constructed which works independently of the contents and transition length, and is accurate under most transition types. The results of testing using different indicators and different transition types show that the boundaries of long transitions are detected with minimal errors. The success of shot boundary refinement brings us one step closer in developing an accurate, fully automatic indexing system.     

基于视觉注意特征和SVM的镜头边界检测算法

镜头边界检测是视频分析的基础。借鉴心理学中有关视觉注意的研究成果,提出了一种采用符合人类视觉注意的特征,并利用支持矢量机进行视频镜头边界检测的算法。通过对TRECVID2007数据库进行实验的结果表明,该算法在查全率和查准率方面都获得了较好的性能。     

基于决策树的MPEG视频镜头分割算法

压缩视频镜头的分割是视频内容分析中的一个难点,由于镜头在组织和索引视频中起关键性的作用,提出了一种基于决策树的MPEG视频镜头分割算法。该算法采用决策树这种机器学习方法对样本视频进行训练,通过融合运动信息、颜色、边缘等特征获得镜头分割的最佳阈值,较好地解决了压缩视频处理中检测镜头突变和渐变难题,同时还能够检测出镜头是否产生闪光现象和相机运动的产生。实验证明本算法在压缩视频镜头检测方面取得了较好的检测结果。     

一种基于有限自动机的渐变镜头检测算法

渐变镜头检测算法分为两个方面：渐变边界帧的判定和边界帧的组合。前者判断某一帧是否符合渐变边界帧的每件，后者判断一段包含边界帧的视像是否是渐变。以往的算法侧重解决边界帧的判定，忽视了边界帧的组合。本文定义了渐变检测容忍度的概念，并提出了一种基于有限自动机的渐变镜头检测方法，利用了自动机多状态的记忆性，提高了算法的适应性和鲁棒性。在TRECVID2004的SBD项目中，本渐变镜头检测系统取得了渐变检测性能第一的好成绩。     

一种精确定位镜头边缘的方法

提出了一种针对MPEG视频的精确定位镜头边缘的方法，结合视频非压缩域和压缩域中相关视频帧的信息来定位镜头边缘。首先利用解压后的I帧信息来粗略定位镜头边缘，然后利用视频序列压缩域中的B帧的运动趋势来精确定位镜头边缘，而不用对其解压缩。实验结果表明此方法能精确地检测到视频的镜头边缘。     

一种精确定位镜头边缘的方法

提出了一种针对MPEG视频的精确定位镜头边缘的方法,结合视频非压缩域和压缩域中相关视频帧的信息来定位镜头边缘。首先利用解压后的I帧信息来粗略定位镜头边缘,然后利用视频序列压缩域中的B帧的运动趋势来精确定位镜头边缘,而不用对其解压缩。实验结果表明此方法能精确地检测到视频的镜头边缘。     

Novel automatic video cut detection technique using Gabor filtering

Video shot transition identification constitutes an important computer vision research field, being applied, as an essential step, in many other digital video analysis domains: video scene detection, video compression, video indexing, video content retrieval and video object tracking. This paper approaches the video cut transition detection domain, providing a novel feature-based automatic identification method. We propose a feature extraction technique that uses 2D Gabor filtering, computing tridimensional image feature vectors for the video frames. Most shot cut detection techniques use a thresholding operation to discriminate between the inter-frame difference metric values and thus identify the video break points. Our identification approach is not threshold-based, using an automatic unsupervised distance classification procedure instead of a threshold. Thus, we provide a region-growing based classification approach, that proves to be very efficient in clustering the distances between feature vectors of consecutive frames. The two resulted distance classes determine a satisfactory video shot detection.     

基于小波的视频镜头自适应分割

随着多媒体技术的发展 ,出现了大量的视频数据 .但由于视频数据是非结构性的 ,因此为了便于视频的检索和浏览 ,必须对视频进行分段 ,而将镜头作为分段的基本单位是比较适合的 .通过仔细分析镜头串接的特点 ,根据小波的特性和小波变换检测奇变点的优点 ,提出了应用小波变换检测视频内容差异度函数奇变点的方法对镜头边界进行检测 .首先取一段视频 ,选取亮度直方图对视频的内容进行描述 ,然后提取视频内容差异度变化曲线 ,再进行多分辨小波分解 ,去噪后找出模极大值点 ,经过跟踪可较准确地找出镜头边界 .实验证明 ,该方法能自适应的对视频进行分割 ,对各种类型的镜头边界有较好的检测效果 .     

基于三步筛选的视频渐变镜头检测

针对视频中的叠化与淡入淡出现象,提出一种基于三步筛选的渐变镜头检测算法。提取视频帧的亮度和方差作为特征,通过有限状态机实现初始渐变检测,并计算视频帧的颜色、共生矩阵、运动特征,从而进行三步筛选,保证检测的准确性。对TRECVID视频进行实验,结果表明,该算法对渐变具有较好的检测性能,对运动及闪光现象有较强的鲁棒性。     

基于基色调的镜头边界检测方法

视频结构化组织是建立视频检索和浏览系统的基础，而镜头边界检测是视频结构化的第一步. 在本文中，我们提出了基于基色调的镜头边界检测方法. 该方法首先利用 I 帧的比特数信息，减少参与检测的 I 帧；然后在考虑基色调的基础上得到局部的自适应阈值；最后用双阈值方法检测镜头边界. 实验证明，该方法可以对长视频序列进行较好的镜头突变和渐变检测，并且减少了计算量，同时能够排除大物体运动和摇镜头对镜头检测的影响.     

基于颜色直方图变化率的视频镜头检测

镜头分割是基于内容的视频检索(CBVR)的关键步骤,它会直接影响到视频检索的结果。针对传统镜头分割算法实现过程复杂,渐变检测不理想等不足,提出了颜色直方图变化率HCR(Histogram Change Ratio)的概念,并在此基础上提出了一种基于颜色直方图变换率的视频镜头分割算法。实验证明,该镜头分割算法实现过程简单,而且对镜头突变和渐变均具有很好的检测效果。     

Shot Partitioning Based Recognition of TV Commercials

Digital video applications exploit the intrinsic structure of video sequences. In order to obtain and represent this structure for video annotation and indexing tasks, the main initial step is automatic shot partitioning. This paper analyzes the problem of automatic TV commercials recognition, and a new algorithm for scene break detection is then introduced. The structure of each commercial is represented by the set of its key-frames, which are automatically extracted from the video stream. The particular characteristics of commercials make commonly used shot boundary detection techniques obtain worse results than with other video content domains. These techniques are based on individual image features or visual cues, which show significant performance lacks when they are applied to complex video content domains like commercials. We present a new scene break detection algorithm based on the combined analysis of edge and color features. Local motion estimation is applied to each edge in a frame, and the continuity of the color around them is then checked in the following frame. By separately considering both sides of each edge, we rely on the continuous presence of the objects and/or the background of the scene during each shot. Experimental results show that this approach outperforms single feature algorithms in terms of precision and recall.     

基于梯度向量角法的视频序列中镜头渐变检测

镜头边界检测是进行视频内容分析的首要步骤。本文提出一种新的基于梯度向量角的镜头边界检测方法。首先进行小波变换,提取第二层分解的低频系数,再求出梯度系数,然后计算连续帧梯度系数之间的绝对距离,得到两帧之间的不连续值,最后采用自适应阈值分割,检测出镜头边界。     

基于BP神经网络的视频镜头突变检测算法*

对于数字视频镜头突变切换的检测,一般有模板匹配法、直方图法等基本算法,但这些算法都需要确定阈值,并在实际检测中通常达不到较高的检测精度。提出了一种新的基于BP神经网络的视频镜头突变检测算法,该算法选取模板匹配二次差分和直方图二次差分作为特征,利用神经网络的自组织、自学习能力实现镜头突变检测,然后以闪光检测来提高检测的可靠性。实验结果表明,该算法能够有效地检测视频的镜头突变,无须设定阈值,具有计算简单、易于实现的优点。     

基于粗糙集和模糊聚类的新闻视频镜头边界检测方法

为了将视频分割成镜头,目前的方法都是提取某些特征然后构造不同的相异性函数。然而,太多的特征就会降低镜头分割算法的效率。因此,有必要对每一个镜头检测决策进行特征约简。基于此,提出了基于粗糙集和模糊聚类的分类方法并得到了相应的决策规则。针对新闻场景的特殊性,将镜头分割成突变过渡、渐变过渡以及无场景变化3类。用超过2个小时的新闻视频所做的实验获得了96.5%的查全率和97.9%的准确率。     

基于聚类的镜头边界检测算法

镜头边界检测是基于内容视频检索的重要组成部分。为从不同类型的视频中有效地检测出视频镜头边界,提出一种视频镜头边界检测算法。通过视频帧图像的颜色特征,得到视频的相似性矩阵,根据突变镜头和渐变镜头在Affinity Propagation聚类结果中的不同特点,运用双阈值法检测镜头边界。实验结果表明,该算法从视频的本身信息分布出发,能自动快速地检测出镜头边界。     

一种二级级联分类的镜头边界检测算法

在分析镜头边界类型、检测方法的基础上,根据镜头的连续性特征,将一个二级级联分类器应用于镜头边界检测．第一级分类器根据视频帧灰度方差特征,将无明显变化的视频序列从原始视频序列中分离出去,得到一个新的视频序列;第二级分类器在新视频序列的基础上,提取视频图像的像素对差值、HSV空间颜色直方图的各分量差值以及边缘直方图X,Y分量差值等视频特征,并采用支持向量机多分类策略进行镜头边界类型的检测．实验结果表明,与积聚算法及SVM—TMRA算法相比,文中算法的综合性能更高且具有较高的实时性．     

足球视频镜头分类方法

根据视频语义分析和视频摘要等应用对于视频数据结构化的需求,提出了一种针对足球视频的镜头分类方法.通过logo模板匹配检测并定位出视频中的慢镜头,对其余的正常比赛部分做镜头边界检测完成视频切分.基于分块的思想,对正常比赛镜头帧计算其各块的场地像素比率值作为特征,利用SVM分类器将正常比赛镜头分为远镜头、中镜头、球员特写或场外镜头3类.至此,整个视频流可以表示为结构化的四类镜头类型标示序列.实验结果表明,该方法在视频切分和镜头类型识别的准确性方面具有良好的效果.     

典型视频镜头分割方法的比较

视频镜头分割作为视频处理的第一步,一直受到学者的关注和重视,数十年来已提出了大量的算法。该文对几种常用的视频分割算法作了综述,分析了基于直方图的算法、基于运动的算法、基于轮廓的算法、以及直接针对压缩视频的算法等典型算法的特征,并详细研究了各种算法中帧差异值的计算和阈值设定的方法,比较了它们的优缺点,最后对视频分割算法研究作了展望。     

一种基于颜色特征的视频镜头边界检测方法

视频镜头的边界检测是视频分析与检索的最基本环节之一。通常进行镜头边界检测时,需要设定阚值来判断特征差异是否足够引起镜头边界出现,但阅值的选取往往因视频内容不同而需重新设定。针对这一问题,本文提出了基于颜色特征进行的镜头边界检测方法。实验结果验证了该方法的有效性。