典型视频镜头分割方法的比较

视频镜头分割作为视频处理的第一步,一直受到学者的关注和重视,数十年来已提出了大量的算法。该文对几种常用的视频分割算法作了综述,分析了基于直方图的算法、基于运动的算法、基于轮廓的算法、以及直接针对压缩视频的算法等典型算法的特征,并详细研究了各种算法中帧差异值的计算和阈值设定的方法,比较了它们的优缺点,最后对视频分割算法研究作了展望。     

基于自动镜头分割的视频压缩编码算法

将镜头分割引入压缩编码,针对分割镜头特性确定适当的编码器及参数,能够提高视频压缩编码的效率．为此,提出了一种基于对分查找的镜头分割算法(VSSB)以及关键帧频率计算公式．其算法的核心是通过对分查找形成二叉树,同时通过广度优先搜索寻找分割点,具有O(log n)的时间复杂性．针对实时应用,采用了双阈值比较的镜头分割算法,能够较好地实现镜头切变和渐变的检测．基于镜头分割算法,建立并实现了并行方式的编解码系统模型．实验证明,基于镜头分割的编码方法能够提高压缩比,缩短压缩编码时间,有利于改善重建图像质量。     

一种新的视频镜头分割算法

镜头是视频分析和索引的基础，但是自动的镜头分割，尤其是渐变切换的检测还是一个很有挑战性的课题。本文提出了一种利用直方图与模板匹配相结合来进行视频镜头切变检测的算法和一种利用图象灰度级平均(MGL)来进行渐变检测的算法，该渐变检测算法能有效区分摄象机镜头的运动和渐变。实际测试证明，利用本文算法进行视频镜头检测
能取得比较好的效果。     

视频镜头分割方法综述

视频序列的镜头分割亦称镜头变化检测是视频检索中的关键技术之一.对五种常用的视频分割算法作了综述,包括像素法、直方图法、X2直方图法、X2直方图分块法、边缘轮廓变化率法,并详细介绍了各种算法中的帧差异值的计算以及介绍了了他们的优缺点,并且通过实验分析对各种算法进行了比较,五种算法的优缺点实验中得到了很好的体现.     

基于视频、音频和文本的视频分段

在分析应用视频数据的过程中,视频分段是分析,组织,应用视频数据的基础。由于视频数据的多样性,传统的分段方法不能给出令人满意的结果,一般需要通过人机交互来进行。文中将较为成熟的文本分析、语音处理、图像处理三种技术进行综合,互为补充,对视频流进行分割。文本分析的对象是语音转换成的文本、标题、注释等。语音处理包括语音识别和语音信号分析。语音识别将视频中的自然语言转换为文字。语音信号分析对视频材料中的语音成分进行基础分析。图像处理主要用来处理视频中的图像部分。文章阐述了视频流的分段层次,文本分析,语音处理算法以及镜头突变,镜头渐变识别算法的思想。     

An Accumulation Algorithm for Video Shot Boundary Detection

In this paper, an accumulation algorithm for video shot detection is introduced. The algorithm considers the properties of gradual transition. In a gradual transition, there is only a small difference between consecutive frames. The algorithm remembers the differences between consecutive frames and accumulates them. When the accumulation difference exceeds a threshold, an occurrence of shot transition is declared. Our main contributions are to introduce a frame C that remembers the changes from the beginning of a shot and detect the different types of boundaries (cut, fade, dissolve) at one process. We tested our algorithm with clips extracted from MPEG VCDs. The algorithm showed a good performance in detecting the gradual transitions as well as the abrupt cuts and has the ability to identify different types of boundaries.     

信息论联合聚类算法及其在视频镜头聚类中的应用

视频镜头自动聚类是基于内容索引与检索领域中的重要研究课题．以往相关工作,缺乏考虑描述镜头内容的特征与特征间存在关联性以及关联特征对镜头相似性度量和镜头聚类性能带来的影响．为提供更合理的镜头相似性度量,该文基于信息论联合聚类算法,将特征关联性挖掘和镜头聚类描述为彼此依附的同步优化过程．同时,为自动估计视频中镜头类别数,文中还提出基于贝叶斯信息准则的类别数估计算法．     

基于自动门限的分区直方图的镜头分割

本文综合比较了目前流行的视频镜头分割算法,并针对这些方法的不足提出了一种基于自动门限的分区直方图的镜头分割方法。测试结果表明,该算法能够有效地对视频信号进行镜头分割。     

基于内容的压缩视频分段技术

根据使用的压缩域上的信息将当前国内外的视频分段技术划分为5种类型，介绍了各种研究方法的特点及其不足之处，分析了当前视频分段技术的研究现状和存在问题，并对其研究前景进行了探讨。     

篮球赛事视频镜头分割

针对篮球赛事视频分割问题,提出一种基于场地三分线的新分割算法。首先提取出帧图像的Canny边界,再对提取到的结果进行优化去杂;接着在优化过的边界中搜寻三分线并记录下三分线上点的坐标;然后根据这些点的坐标来判断三分线的弯曲方向,将其作为后续分割的依据。基于以上算法,以Microsoft Visual Studio 2010与OpenCV2.3为开发平台,实现了一个篮球赛事视频镜头分割的原型系统,并通过该系统验证了新方法在正确检出和漏检方面的优势。虽然不是很明显,但是在误检方面的优势很显然。     

一种基于镜头聚类的视频场景分割方法

为了更好地进行视频信息检索和浏览,提出了一种利用视觉和运动特征来进行场景分割的方法,该方法在把镜头聚类到场景中时,不仅考虑同一场景内镜头的视觉特征相似性,而且还考虑了镜头的运动特征的一致性。此外,为避免过度分割,还提出了一种方法用来合并过度分割出的场景。实验结果表明,这种方法是有效的。     

基于图像分割和对象跟踪的新闻视频镜头边界检测方法

镜头边界检测是许多多媒体应用的一个重要步骤,而现有的镜头边界检测方法大都是首先提取视频帧低层视觉特征,然后构造相异性测度函数,但由于这些方法对低层特征变化、对象运动、摄像机运动和视频质量较敏感,为克服此问题,提出了一种基于图像分割和对象跟踪的镜头边界检测方法。该方法首先采用分区直方图对镜头进行预检,然后利用基于小波分析的无监督图像分割和对象跟踪技术,通过构造相异性测度函数来对镜头边界进行确认。由于分区直方图方法作为第１过滤器,可有效地减少图像分割和对象跟踪的视频帧数目,从而提高了整个算法的效率,而基于小波变换的无监督图像分割和对象跟踪,则对以上问题具有较好的鲁棒性。在3个多小时的CCTV和CNN新闻视频实验中,获得了972%查准率和964%的查全率。     

面向教学评价的课堂视频镜头边界检测新方法

课堂视频镜头边界检测对教学评价具有重要意义。针对教学视频视觉信息变化不明显、镜头边界信息不足、检测结果不利于教学评价等问题,引入注意力机制,提出了基于视觉和文本特征描述学习的课堂视频镜头边界检测方法。首先,提出了层次视觉Transformer模型学习教学评价关注的屏幕、教师和学生等感兴趣区域的视觉特征。其次,提出了层次文本Transformer模型从屏幕和语音文本中学习教学评价关注的文本特征。最后,构建基于二值交叉熵的镜头分类和边界检测损失函数。在数据集CLShots上的实验结果表明,本文方法在准确率、召回率、F1分数和平均交并比等指标比当前先进的教学镜头检测方法 SBLV分别提高了23.3%、22.4%、22%和35.7%,比通用领域深度学习方法 TransNet V2分别提高了13.8%、14.5%、14.3%和21.3%。     

基于DEMD的视频分割方法及其在视频水印中的应用

提出一种基于方向经验模式分解（directional empirical mode decomposition, DEMD）的视频分割方法,并结合独立分量分析（independent component analysis）技术实现视频水印的嵌入.基于DEMD的视频分割方法除去视频帧中反映图像内光照分布与能量的最低频率固有模态函数（intrinsic mode function, IMF）分量,并选择一种简单有效的运动补偿方法,解决了传统基于直方图方法对光照突变、镜头内物体运动和镜头运动及拉伸的敏感问题,减少了镜头边界识别的误检率,在保证召回率不受影响的前提下提高了视频分割的精确度.使用这种视频分割方法与ICA结合,对分割出的每个视频段进行ICA分析得到一系列独立分量帧,以这些独立分量帧为载体,采用一种改进的基于小波域量化的图像水印技术嵌入水印,实现对视频加入水印的过程.实验结果表明,这种视频水印方法对各种水印攻击均有较好的鲁棒性,同基于传统直方图方法的视频水印方法相比较,对丢帧和持续时间不变减少帧数等攻击具有更好的鲁棒性.     

镜头内容分析及其在视频检索中的应用

提出了一种镜头内容分析方法及其在视频检索中的两个应用:镜头检索与场景结构提取.为了刻画一个镜头的内容变化,首先引入两个新的内容描述子:主色直方图和空间结构直方图.主色直方图能够捕捉那些持续时间最长的颜色,而这些颜色是这段视频所关注的对象或背景的主要颜色.从颜色块图提取的空间结构直方图是描述图像空间信息的一组特征.一个变化较大的镜头可以划分为几个内容一致的子镜头,两个镜头的相似性可以从对应子镜头的相似性计算得到.镜头相似性度量可以直接用于镜头检索,还可用于场景结构提取.另外,还提出分裂与合并力量竞争的场景结构提取方法.在大容量视频数据库上进行实验所得结果证实了该方法在镜头检索和场景提取的优异表现.     

新闻视频主持人镜头的半屏幕检测算法

提出了一种电视新闻节目主持人镜头的自动检测方法。该算法可用于新闻节目的自动内容分析和检索。方法分为两步。在第一步中,把屏幕分为两部分:左屏幕和右屏幕,并分别加以检测,然后依据主持人镜头在一个新闻节目中频繁重复出现的特性对候选主持人镜头进行聚类。在第二步中,根据主持人镜头出现的时空特性,利用主颜色直方图检测出正确的主持人镜头。实验结果表明该方法有很高的正确率和适应性。该方法可用于新闻节目内容的自动分析和检索。     

Hybrid Rule-Based/Neural Approach for Segmentation of MPEG Compressed Video

An approach for video segmentation into shots and sub-shots that works directly in the MPEG compressed domain is presented. It is based only on the information about macroblock coding mode and motion vectors in P and B frames. The system follows a two-pass scheme and has a hybrid rule-based/neural structure. A rough scan over the P frames locates the potential shot boundaries and the solution is then refined by a precise scan over the B frames of the respective neighborhoods. The simpler boundaries are recognized by the rule-based module, while the decisions for the complex ones are refined by the neural part. The latter is also used to distinguish dissolves from object and camera motions and to further divide shots into sub-shots. The experiments demonstrate high speed and classification accuracy without computationally expensive calculations and need for many thresholds.     

一种基于视频的多目标追踪与分割算法

基于视觉的多目标跟踪由于在智能监控、动作与行为分析、自动驾驶、虚拟现实和娱乐互动等领域都有重要的应用,近年来越来越多地成为计算机视觉领域的研究重点.并且在电力设施中对人员的活动需要实时追踪,有助于安全防护.对此,针对视频中的多目标检测与分割问题,在原有Mask-RCNN算法的基础上做了改进,引入光流分析法和视频关键帧提...     

基于背景模型的自动视频分割方法

提出一种基于背景模型的自动视频分割方法。该方法结合了背景恢复技术和目标跟踪技术进行视频分割。算法分背景重建、运动目标提取、跟踪技术的使用和后处理4个步骤。同时提出了一种新跟踪算法去除大噪声的干扰。文章阐述了方法的基本思想、理论依据和实现。实验表明:该方法具有很好的效果,具有较强实时性。     

多模态特征融合的新闻视频故事分割方法

新闻视频故事分割是新闻视频分析的重要底层支持技术,本文提出了一种融合音频、视频等多模态特征的新闻视频故事分割方法.首先分析音频特征的静音片段作为音频特征候选点,对视频进行镜头分割,并将镜头分割结果分类为播音员镜头和新闻报道镜头,将所有的镜头分割点和播音员镜头片段提取为视频片段候选点;然后通过对新闻视频编辑规则的研究,对视频、音频特征候选点融合分析来获取新闻视频的故事分割,实验表明该方法在不同新闻视频编辑规则下都具有较好的分割效率.