一种基于语义的视频场景分割算法

针对如何在镜头基础上进行聚类，以得到更高层次的场景问题，提出了一个基于语义的场景分割算法。该算法首先将视频分割为镜头，并提取镜头的关键帧。然后计算关键帧的颜色直方图和MPEG-7边缘直方图，以形成关键帧的特征；接着利用镜头关键帧的颜色和纹理特征对支持向量机（SVM）进行训练来构造7个基于SVM对应不同语义概念的分类器，并利用它们对要进行场景分割的视频镜头关键帧进行分类，以得到关键帧的语义。并根据关键帧包含的语义概念形成了其语义概念矢量，最后根据语义概念矢量通过对镜头关键帧进行聚类来得到场景。另外．为提取场景关键帧，还构建了镜头选择函数，并根据该函数值的大小来选择场景的关键帧。实验结果表明，该场景分割算法与Hanjalic的方法相比，查准率和查全率分别提高了34．7％和9．1％。     

视频层次结构挖掘

视频处理的关键是视频信息的结构化,视频基本结构是由帧、镜头、场景和视频节目构成的层次结构。视频层次结构挖掘的一个简单框架是对视频进行镜头分割、抽取镜头特征和视频场景构造。论文在镜头分割的基础上提出了基于多特征的镜头聚类分析和基于镜头的场景边界检测两种视频场景构造方法,从而实现视频层次结构挖掘。实验表明,基于镜头的场景边界检测性能优于基于多特征的镜头聚类分析。     

挖掘视频层次结构，改善视频管理*

为了实现视频层次结构挖掘,提出了一个有效的视频镜头分割算法和一种镜头相似性度量方法,然后根据镜头颜色、纹理和语义相似性采用场景边界探测算法构造视频场景.实验结果表明,这些算法是可行的.     

Novel automatic video cut detection technique using Gabor filtering

Video shot transition identification constitutes an important computer vision research field, being applied, as an essential step, in many other digital video analysis domains: video scene detection, video compression, video indexing, video content retrieval and video object tracking. This paper approaches the video cut transition detection domain, providing a novel feature-based automatic identification method. We propose a feature extraction technique that uses 2D Gabor filtering, computing tridimensional image feature vectors for the video frames. Most shot cut detection techniques use a thresholding operation to discriminate between the inter-frame difference metric values and thus identify the video break points. Our identification approach is not threshold-based, using an automatic unsupervised distance classification procedure instead of a threshold. Thus, we provide a region-growing based classification approach, that proves to be very efficient in clustering the distances between feature vectors of consecutive frames. The two resulted distance classes determine a satisfactory video shot detection.     

一种二级级联分类的镜头边界检测算法

在分析镜头边界类型、检测方法的基础上,根据镜头的连续性特征,将一个二级级联分类器应用于镜头边界检测．第一级分类器根据视频帧灰度方差特征,将无明显变化的视频序列从原始视频序列中分离出去,得到一个新的视频序列;第二级分类器在新视频序列的基础上,提取视频图像的像素对差值、HSV空间颜色直方图的各分量差值以及边缘直方图X,Y分量差值等视频特征,并采用支持向量机多分类策略进行镜头边界类型的检测．实验结果表明,与积聚算法及SVM—TMRA算法相比,文中算法的综合性能更高且具有较高的实时性．     

基于颜色特征的视频数据库检索系统

为了在视频数据库中提供有效的视频检索和浏览功能,必须建立高效的索引.由于视频数据具有层次性的结构,在镜头边界检测后,可以利用聚类方法按不同的相似性尺度对镜头关键帧进行处理,对视频数据建立索引.该系统采用颜色特征,使用Twin Comparison算法实现镜头检测和直方图平均法实现关键帧提取,对关键帧采用K均值聚类算法处理,建立视频数据库索引.实验结果表明该系统能较好地实现视频快速浏览和检索功能.     

基于C3D的足球视频场景分类算法

足球视频整场比赛持续时间较长,许多视频内容并非广大观众的兴趣所在,因此足球视频场景分类成为了近几十年来研究界的一项重要课题,许多机器学习方法也被应用于这个课题上.本文提出的基于C3D （三维卷积神经网络）的足球视频场景分类算法,将三维卷积运用于足球视频领域,并通过实验验证了本文算法的可行性.本文实验的流程如下：首先,基于帧间差分法和徽标检测法检测法对足球视频场景切换进行检测,实现镜头分割.在此基础上,提取分割镜头的语义特征并将其进行标记,然后通过C3D对足球事件进行分类.本文将足球视频分为7类,分别为远镜头、中镜头、特写镜头、回放镜头、观众镜头、开场镜头及VAR （视频助理裁判）镜头.实验结果表明,该模型在足球视频数据集上的分类准确率为96%.     

基于主色跟踪和质心运动的视频场景分割 *

传统的场景分割方法中往往通过比较关键帧来测量镜头间的相似度而忽略了镜头内的时域信息 ,针对这种缺陷提出一种基于主色跟踪和质心运动的视频场景分割的方法。首先 ,在量化的 HSV空间中 ,利用主色跟踪所得镜头的时间信息结合帧颜色直方图得到镜头的主色直方图 ,并且引入镜头质心特征向量的概念 ,通过其与帧向量的差异性获得镜头的运动信息 ;然后将所测得的镜头相似度用在改进的双向滑动窗口法中检测场景。实验结果验证了该方法的有效性。     

新闻视频中广告片段精确定位方法研究

由于广告节目制作风格的多样性,新闻视频中广告片段的检测和定位是一个非常具有挑战性的问题。提出了一种新闻视频中广告片段定位的新方法。首先针对镜头切换和非镜头切换数目不平衡问题,设计了一种新的分类方法进行镜头检测,然后利用聚类分析粗略地标识广告块,最后通过分析相邻镜头的平均持续时间和镜头关键帧的视觉特征准确定位广告边界。实验结果表明,该方法具有较高的定位精度。     

一种基于镜头的视频场景检测方法

在数字视频的分析、浏览、检索中,现有的以镜头为基础的方法由于镜头粒度信息太小而不能表达视频语义上的联系,因此有必要将视频内容按照高层语义单元——场景进行组织。从分析视频剪辑的基本原则入手,给出了一种视频场景构造方法;首先使用改进了的像素匹配二次差分法结合双阈值法进行镜头突变和渐变的检测,然后对镜头内的帧间距离进行判断来提取关键帧;提出了一种基于双滑动镜头窗口的聚类方法,将内容相似语义相同的镜头聚合在一起形成新的场景。试验表明,该方法是有效的。     

Automatic video temporal segmentation based on multiple features

This paper investigates automatic video temporal segmentation techniques, also named shot boundary detection (SBD) techniques. Firstly, the existing SBD algorithms are reviewed in detail. Then, a new SBD algorithm is proposed aiming to obtain fast and accurate detection, and its performances are evaluated and compared with existing works. This algorithm computes the frame difference/similarity by such simple features as pixel difference and histogram difference, adopts motion-based difference to resist camera or object movements in the same shot and uses the flash detection to avoid false positives caused by light changes or flashes. The adopted features are computational efficient, and the combination of various features improve the detection accuracy. These properties make the algorithm suitable for real-time applications, such as broadcasted news segmentation.     

视频检索中镜头分割方法综述

视频序列的镜头分割亦称镜头变化检测是视频检索中的关键技术之一。镜头变化是指视频序列中场景内容的变化。该文介绍了目前镜头分割的常用方法,包括灰度分割法、边缘分割法、彩色直方图分割法、MPEG视频的分割方法、块匹配镜头分割方法、统计判决镜头分割方法、基于聚类的镜头分割方法、镜头渐变的检测等,指出了研究场景内容的表征方法、特征提取方法、特征的检测尺度以及稳健可靠的实用镜头分割方法是目前主要的研究方向。     

基于时序结构图的视频流描述方法

通过对视频流的分解可以获得基于关键帧集的视频流表示,但这种表示方法不能反映出视频流中隐藏的故事发展关系,为揭示这种关系,提出了一种视频流的快速聚类算法,用于对视频流分解单元进行相关性分析,该算法通过检测视频镜头间的相似性和连续性,实现把来自同一摄像机的视频镜头归并入同一视频类,并帱此得到而且为矿山频流的快速浏览和检索提供了新的思路。     

镜头内容分析及其在视频检索中的应用

提出了一种镜头内容分析方法及其在视频检索中的两个应用:镜头检索与场景结构提取.为了刻画一个镜头的内容变化,首先引入两个新的内容描述子:主色直方图和空间结构直方图.主色直方图能够捕捉那些持续时间最长的颜色,而这些颜色是这段视频所关注的对象或背景的主要颜色.从颜色块图提取的空间结构直方图是描述图像空间信息的一组特征.一个变化较大的镜头可以划分为几个内容一致的子镜头,两个镜头的相似性可以从对应子镜头的相似性计算得到.镜头相似性度量可以直接用于镜头检索,还可用于场景结构提取.另外,还提出分裂与合并力量竞争的场景结构提取方法.在大容量视频数据库上进行实验所得结果证实了该方法在镜头检索和场景提取的优异表现.     

一种基于模型的扫换检测方法

视频自动分割是实现视频数据库检索必不可少的一个过程,其基础是镜头边界检测.当前已有的算法能够较准确地检测出镜头突变,但对于镜头的渐变则常常会漏检,这是由于镜头渐变时帧间差没有一个明显的峰值,因而其检测比突变检测要困难得多.扫换是一种常用的视频空间编辑手段,用于实现多种镜头变化.通过分析各种类型的扫换,提出了一种新的基于视频空间编辑模型的扫换检测算法,其性能优于Alattar提出的基于统计特征的算法.对用AdobePremiere5.1生成的各种扫换视频进行检测.实验结果表明,这种扫换检测算法能够较好地适应     

A Supervised Learning Approach to Flashlight Detection

Shot boundary detection is a fundamental step of video indexing. One crucial issue of this step is the discrimination of abrupt shot change from flashlight, because flashlight often induces a false shot boundary. Support vector machine (SVM) is a supervised learning technique for data classification. In this paper, we propose a SVM-based technique to detect flashlights in video. Our approach to flashlight detection is based on the facts that the duration of flashlight is short and the video contents before and after a flashlight should be similar. Therefore, we design a sliding window in temporal domain to monitor the instantaneous video variation and extract color and edge features to compare the visual contents between two video segments. Then, a SVM is employed to classify the luminance variation into flashlight or shot cut. Experimental results indicate that the proposed approach is effective and outperforms some existing techniques.     

基于特征的实时镜头切变检测

提出了一种新的基于边缘特征的帧间相似性度量方法,并在此基础上实现了一个实时的镜头切变检测算法。为了降低基于特征的算法的运算复杂度,该算法采用一种快速的边缘模式分类方法从部分解码的码流中提取视频帧的边缘特征,通过考察相邻帧边缘分布的相似性定义了一种反映局部信息的帧间相似性度量。结合反映全局特征的基于彩色直方图的相似性的度量和改进的滑动窗算法,实现了高性能的镜头边缘检测。相对于现有的基于特征的算法,该算法具有更低的运算复杂度,适合实时应用。     

视频内容分析技术

概述了基于内容的视频检索的方法和工作过程,研究的重点是突变镜头探测(基于像素的方法、模板匹配法、基于直方图的方法、基于视频特征的方法),渐变镜头探测(双重比较法、基于模型的方法、基于压缩域的方法),关键帧提取的关键技术(基于颜色特征的方法,基于镜头边界的方法、基于镜头的方法、基于运动分析的方法等),在综合分析了各类方法的工作机理和优缺点的基础上,提出了一个优化的视频内容分析检索框架.     

基于特征知识库的动漫视频暴力场景检测方法

针对海量动漫视频剪辑中可能包含不符合观众认知或接收程度的内容,为观众带来不愉快体验的问题,提出了基于知识库的卡通视频暴力场景检测方法。首先,利用低级特征(RBG颜色、亮度、色调)开发连续函数,进行场景中镜头边界识别;然后,利用运动信息,计算视频帧中的运动。接着,使用空间信息和运动信息进行分割处理,并使用欧氏距离方法进行对象识别;最后,利用包含所有常见物品、卡通角色及其视觉特征和行为特征的知识库,计算场景的暴力概率。实验结果表明,该系统能够成功检测到卡通视频中的暴力场景。     

基于帧间差分和边缘差分的遗留物检测算法

遗留物检测是智能视频监控系统的核心功能,遗留物一般较小,所处环境复杂,传统的运动目标检测算法直接用于遗留物检测效果一般.提出了一种基于帧间差分与边缘差分的遗留物检测算法,首先进行帧间差分得到运动目标区域,然后将当前帧图像和前一帧的背景图像进行边缘差分运算得到运动目标的边缘,融合二次差分的结果即可得到运动目标的完整轮廓特征,最终通过判断运动目标在场景中的滞留时间是否达到或超过报警系统设置的阈值来标示遗留物,供智能视频监控系统处理.实验结果证明该算法实时性好且识别率较高.