视频镜头边缘检测技术

本文对视频镜头边缘检测的基本原理进行了阐述,介绍了压缩域和非压缩域中视频图象的镜头切换、渐变及溶解的检测方法,以及各类检测方法的基本思想和主要公式,最后指出了性能评价所面临的问题。     

基于镜头的鲁棒视频广告检测

随着多媒体技术的发展，自动检测出数字视频节目里面嵌入的广告是很具挑战性的研究．然而，由于嵌入的广告的制作方式和表现手法的多样性，很多自动检测模型的实验结果往往不甚理想．为了提高检测系统的鲁棒性，提出了3阶段广告检测系统．首先，提出了基于区域特征重要性的镜头检测算法（RBFID，region-based feature importance detection），实现视频播放中突变镜头和消隐镜头的检测，同时从每个镜头提取出一些统计特征用来标识镜头．然后，利用SVM的优异分类特性实现镜头分类．最后为了能得到精确的广告视频段，利用广告视频在内容和时间上的连续性来消除错分的镜头，然后将广告镜头整合成广告视频段．本系统在30个电视节目的片段上进行验证，实验结果表明此广告检测系统具有实用性．     

视频镜头边缘检测算法研究与比较

视频镜头边缘检测中的直方图、像素差异等算法只针对有限的测试数据进行了范围比较狭窄的测试,对于算法的适用领域和范围没有进行测试和说明.为了解决这一问题,设计实现了三种视频镜头检测算法,并构造了丰富的测试视频数据集,针对测试结果进行了实现算法的性能分析以及提出了改进建议.     

基于统计特征的镜头边缘侦测

通过分析MPEG视频流中I帧的8×8DCT编码块的DC系数的统计特征,用每个88 DCT编码块的DC系数计算I帧图象的亮度、行列直方图,比较I帧之间直方图的差异,直接从原始的MPEG视频流中侦测镜头切换点.     

图像边缘检测相关算法研究

首先论述了两类图像边缘检测方法,然后论述了图像边缘评价指标,即误检率和定位精度,最后从R0berts算子、Sobel算子、LOG算子、Otsu算法等几个方面,详细论述了相关经典的图像边缘检测算法。     

用于镜头突变切换检测的像素点匹配法

研究了各种常用的帧间差算法在镜头突变切换检到中的特点和分析了现有帧间差法难以达到很高的检测精度的原因之后，从人的视觉对图像差异的判断方式出发，提出了一种新的更为有效的计算图像相似度或帧间差的算法，即像素点匹配法，实验结果证实该算法在有限地增加计算量的条件下，明显地提高了镜头突变切换的检测精度。     

基于鲁棒主成分分析的Canny边缘检测算法

为提高图像边缘检测的准确性和鲁棒性,提出一种基于鲁棒主成分分析(RPCA)的Canny边缘检测算法。该算法对图像进行RPCA分解得到图像的主成分和稀疏成分,利用Canny算子对主成分进行边缘检测,从而实现对图像的边缘检测。该算法将图像的边缘检测问题转化为图像主成分的边缘检测问题,消除了图像信息中“污点”对检测结果的干扰,抑制了噪声。仿真实验结果表明,该算法在边缘检测的准确性和鲁棒性方面优于Log边缘检测算法、Canny边缘检测算法和Susan边缘检测算法方法。     

一种精确定位镜头边缘的方法

提出了一种针对MPEG视频的精确定位镜头边缘的方法，结合视频非压缩域和压缩域中相关视频帧的信息来定位镜头边缘。首先利用解压后的I帧信息来粗略定位镜头边缘，然后利用视频序列压缩域中的B帧的运动趋势来精确定位镜头边缘，而不用对其解压缩。实验结果表明此方法能精确地检测到视频的镜头边缘。     

一种精确定位镜头边缘的方法

提出了一种针对MPEG视频的精确定位镜头边缘的方法,结合视频非压缩域和压缩域中相关视频帧的信息来定位镜头边缘。首先利用解压后的I帧信息来粗略定位镜头边缘,然后利用视频序列压缩域中的B帧的运动趋势来精确定位镜头边缘,而不用对其解压缩。实验结果表明此方法能精确地检测到视频的镜头边缘。     

基于多种视频特征的镜头边界检测算法

提出一种基于多种视频特征的自适应镜头边界检测算法.利用滑动窗口将当前帧与其前后相邻多帧的视频特征进行比较,形成2组相似向量,利用Fisher判别式与运动矢量形成的自适应阈值实现突变检测.提取帧的亮度方差作为特征,通过有限状态机实现渐变检测.对大量TRECVID视频进行实验,结果表明该算法对突变和渐变都具有良好的检测性能,对运动及闪光具有较好的鲁棒性.     

An Accumulation Algorithm for Video Shot Boundary Detection

In this paper, an accumulation algorithm for video shot detection is introduced. The algorithm considers the properties of gradual transition. In a gradual transition, there is only a small difference between consecutive frames. The algorithm remembers the differences between consecutive frames and accumulates them. When the accumulation difference exceeds a threshold, an occurrence of shot transition is declared. Our main contributions are to introduce a frame C that remembers the changes from the beginning of a shot and detect the different types of boundaries (cut, fade, dissolve) at one process. We tested our algorithm with clips extracted from MPEG VCDs. The algorithm showed a good performance in detecting the gradual transitions as well as the abrupt cuts and has the ability to identify different types of boundaries.     

基于自适应模糊神经推理的视频镜头边界检测方法

自动镜头边界检测是实现基于内容的视频检索的一个重要步骤.本文提出了一种基于自适应模糊推理(ANFIS)的镜头检测方法,利用ANFIS训练后得到的模糊规则进行决策.通过实验证明,本文算法取得了不错的效果.     

一种基于颜色特征的视频镜头边界检测方法

视频镜头的边界检测是视频分析与检索的最基本环节之一。通常进行镜头边界检测时,需要设定阚值来判断特征差异是否足够引起镜头边界出现,但阅值的选取往往因视频内容不同而需重新设定。针对这一问题,本文提出了基于颜色特征进行的镜头边界检测方法。实验结果验证了该方法的有效性。     

基于局部多核支持向量机的视频镜头边界检测

提出了一种基于局部多核支持向量机的视频镜头边界检测方法.利用视频图像相邻帧的时空信息构建视频中间特征,在此基础上利用局部多核支持向量机将视频帧划分为边界帧和非边界帧.为了提高基于全局优化的多核支持向量机的检测精度,利用局部敏感哈希算法将视频帧投影全哈希子空间,结合多核学习方法为各个哈希子空间构建局部多核支持向量机,利用SMOTE上采样技术解决了视频图像边界帧和普通帧的不平衡问题.试验结果表明,本文提出的镜头边界检测方法的金全率和查准率得到了提高.     

基于基色调的镜头边界检测方法

视频结构化组织是建立视频检索和浏览系统的基础,而镜头边界检测是视频结构化的第一步. 在本文中,我们提出了基于基色调的镜头边界检测方法. 该方法首先利用 I 帧的比特数信息,减少参与检测的 I 帧;然后在考虑基色调的基础上得到局部的自适应阈值;最后用双阈值方法检测镜头边界. 实验证明,该方法可以对长视频序列进行较好的镜头突变和渐变检测,并且减少了计算量,同时能够排除大物体运动和摇镜头对镜头检测的影响.     

面向教学评价的课堂视频镜头边界检测新方法

课堂视频镜头边界检测对教学评价具有重要意义。针对教学视频视觉信息变化不明显、镜头边界信息不足、检测结果不利于教学评价等问题,引入注意力机制,提出了基于视觉和文本特征描述学习的课堂视频镜头边界检测方法。首先,提出了层次视觉Transformer模型学习教学评价关注的屏幕、教师和学生等感兴趣区域的视觉特征。其次,提出了层次文本Transformer模型从屏幕和语音文本中学习教学评价关注的文本特征。最后,构建基于二值交叉熵的镜头分类和边界检测损失函数。在数据集CLShots上的实验结果表明,本文方法在准确率、召回率、F1分数和平均交并比等指标比当前先进的教学镜头检测方法 SBLV分别提高了23.3%、22.4%、22%和35.7%,比通用领域深度学习方法 TransNet V2分别提高了13.8%、14.5%、14.3%和21.3%。     

基于特征融合的自适应镜头边界检测

根据HSV色彩直方图进行镜头边界检测是一种常用、有效的方法,该文提出了一种基于色彩和形状融合的方法计算帧间不连续值、形状特征选取梯度方向角,在计算出帧间不连续值以后,采用Kohonen自组织网络对不连续值进行聚类得到镜头边界。实验结果表明该方法能弥补采用单一的色彩或形状信息所造成的漏检或错检,并且Kohonen网络能取得与滑动窗高斯模型方法相差无几的性能表现,却克服了检测性能对于参数的敏感性。     

基于互信息量的镜头边界检测算法

为快速稳健地检测镜头边界,提出基于互信息量的镜头边界检测算法。采用基于HSV空间不均匀分块直方图求取的帧间互信息量作为视频帧间差异度量,结合相应的阈值策略与时域窗策略,实现对镜头的切变,以及常见渐变与计算机特效技术制作的镜头变换检测。对包括广告、综艺节目、新闻等多类视频数据进行实验,结果证明,该算法对切变检测的综合效果比经典基于直方图的双阈值法平均提高11.9%,渐变检测的综合效果平均提高7.6%,能有效减弱摄像机运动与光照变化对镜头检测的影响,对不同类型视频镜头检测效果稳定,具有较高的查全率与查准率。