压缩域中叠化镜头的快速检测算法

随着网络和多媒体技术的不断发展，基于内容的多媒体信息检索技术变得越来越重要．同成熟的文本检索技术相比，视频检索还处在研究和探索阶段．视频检索的一个有效方法是将无结构的视频节目进行镜头分割，根据每个镜头的关键帧对视频建立索引．因此，镜头分割是基于内容的视频检索的基本步骤，在各种类型的镜头检测算法中，叠化镜头是很难检测的．根据叠化(dissolve)镜头内部预测帧预测误差能量和运动矢量分布特点，提出一种在压缩域中分割叠化镜头的新算法．与公开发表的同类算法相比，它具有以下优点：工作在压缩域上、速度快、鲁棒性好、精度更高．     

视频镜头边缘检测技术

本文对视频镜头边缘检测的基本原理进行了阐述,介绍了压缩域和非压缩域中视频图象的镜头切换、渐变及溶解的检测方法,以及各类检测方法的基本思想和主要公式,最后指出了性能评价所面临的问题。     

一种精确定位镜头边缘的方法

提出了一种针对MPEG视频的精确定位镜头边缘的方法，结合视频非压缩域和压缩域中相关视频帧的信息来定位镜头边缘。首先利用解压后的I帧信息来粗略定位镜头边缘，然后利用视频序列压缩域中的B帧的运动趋势来精确定位镜头边缘，而不用对其解压缩。实验结果表明此方法能精确地检测到视频的镜头边缘。     

压缩域视频内容分析与摘要提取技术

给出了压缩域视频摘要系统的结构框架,并对其中的压缩域视频镜头变换检测、关键帧提取和压缩域人脸检测等主要算法进行了讨论.     

一种精确定位镜头边缘的方法

提出了一种针对MPEG视频的精确定位镜头边缘的方法,结合视频非压缩域和压缩域中相关视频帧的信息来定位镜头边缘。首先利用解压后的I帧信息来粗略定位镜头边缘,然后利用视频序列压缩域中的B帧的运动趋势来精确定位镜头边缘,而不用对其解压缩。实验结果表明此方法能精确地检测到视频的镜头边缘。     

视频分割中特殊编辑的一种检测算法

在现有的编辑以及镜头操作的检测方法中，对突然变化的检测相对容易一些，而对镜头操作的检测比较困难，提出了一种在压缩域上，对MPEG流DCT变换的直流分量沿时间轴形成的3维数据空间中，运动向量随时间累积的分布效果进行分析的方法，来对特殊编辑与镜头操作作用进行检测，与现有的视频分割方法相比较，有较好的对光照度变化，目标移动造成的干扰的鲁棒性。     

压缩视频域镜头边界检测研究现状与发展前景

镜头边界检测是视频检索的首要问题,镜头转换分为突变和渐变,镜头边界的检测结果直接影响视频检索的准确度,针对这个问题,提出了在压缩域视频中进行镜头边界检测常用的两类方法:一类是基于I帧DC系数的方法;另一类是基于聚类的方法.前者先利用I帧的DC图进行镜头的粗略分割,再分别运用基色调、宏块信息和运动矢量进行精确分割;后者聚类法克服了帧的无序性.实验结果表明,第一类压缩域镜头边界检测的方法之于镜头的渐变检测效果普遍不理想,但是计算较第二类算法简便,第二类方法对渐变镜头的检测效果好于第一类,有效克服无序性是一种改进.     

基于镜头的鲁棒视频广告检测

随着多媒体技术的发展，自动检测出数字视频节目里面嵌入的广告是很具挑战性的研究．然而，由于嵌入的广告的制作方式和表现手法的多样性，很多自动检测模型的实验结果往往不甚理想．为了提高检测系统的鲁棒性，提出了3阶段广告检测系统．首先，提出了基于区域特征重要性的镜头检测算法（RBFID，region-based feature importance detection），实现视频播放中突变镜头和消隐镜头的检测，同时从每个镜头提取出一些统计特征用来标识镜头．然后，利用SVM的优异分类特性实现镜头分类．最后为了能得到精确的广告视频段，利用广告视频在内容和时间上的连续性来消除错分的镜头，然后将广告镜头整合成广告视频段．本系统在30个电视节目的片段上进行验证，实验结果表明此广告检测系统具有实用性．     

MPEG压缩域多尺度镜头切变检测算法

如何在压缩域进行镜头的切变检测一直是视频自动索引和检索中的难点。提出了一种MPEG压缩域多尺度镜头切变检测算法,在GOP、slot和B帧三个尺度上对MPEG视频流进行分析。通过对相邻I帧的检测,确定一个GOP中是否存在镜头切变;通过对slot的分析,确定镜头切变在GOP中所处的区域;通过对B帧的检测,确定镜头切变发生的确切位置。     

H．264压缩域中利用Biased-SVM检测镜头边界

为了直接从H．264码流中检测镜头边界,提出了利用H．264压缩域多特征和Biased—SVM（不平衡支持向量机）分类算法的检测方法。分析帧类型、宏块类型、运动矢量、帧内预测模式等信息,以获得发生镜头突变和渐变的特征。针对镜头边界帧的数量远少于视频帧总数的特点,用Biased—SVM分类方法将视频帧分为突变帧、渐变帧和非镜头边界帧。在TRECVID视频集上的实验结果表明,与其他H．264压缩域的算法相比,该算法有更好的性能。     

基于镜头鉴别力分析的视频检索方法

为克服互联网中视频信息传统检索方法的不足,保证检索的准确率和高效性,针对镜头代表性强弱的问题,提出镜头鉴别力概念以及计算鉴别力大小的方法,并基于镜头鉴别力设计一种新的视频检索方法。该方法提取镜头静态特征和动态特征作为计算鉴别力大小的依据。实验结果证明,使用镜头鉴别力分析后的检索效果好于未使用镜头鉴别力分析的检索效果,在实验环境中达到94%的准确率。     

视频结构化浏览和查询系统：Videowser

显然目前存在一些基于镜头的视频分析方法能够为用户操纵视频提供一些方便,但由于在一个长视频中其镜头数太多,单元太小,而且单个视频镜头往往也无法表达出潜在的视频语义,所有这些都说明了必要的一个更高的层次上去组织视频。本文提出的视频目录层次结构把视频中镜头在其自身时间及内容的约束下形成若干镜群,再对镜群中的镜头进行聚类获得若干视觉相似镜头的集束－镜组,据此设计和实现的Videowser可让用户通过视频的目录层次结构进行非线性的浏览及观看;用户除了进行非线性的浏览外,还可根据自己的需要直接进行基于视频内容和语义的综合查询。     

Novel automatic video cut detection technique using Gabor filtering

Video shot transition identification constitutes an important computer vision research field, being applied, as an essential step, in many other digital video analysis domains: video scene detection, video compression, video indexing, video content retrieval and video object tracking. This paper approaches the video cut transition detection domain, providing a novel feature-based automatic identification method. We propose a feature extraction technique that uses 2D Gabor filtering, computing tridimensional image feature vectors for the video frames. Most shot cut detection techniques use a thresholding operation to discriminate between the inter-frame difference metric values and thus identify the video break points. Our identification approach is not threshold-based, using an automatic unsupervised distance classification procedure instead of a threshold. Thus, we provide a region-growing based classification approach, that proves to be very efficient in clustering the distances between feature vectors of consecutive frames. The two resulted distance classes determine a satisfactory video shot detection.     

AVCD-FRA: A novel solution to automatic video cut detection using fuzzy-rule-based approach

Video shot boundary detection (SBD) is a fundamental step in automatic video content analysis toward video indexing, summarization and retrieval. Despite the beneficial previous works in the literature, reliable detection of video shots is still a challenging issue with many unsolved problems. In this paper, we focus on the problem of hard cut detection and propose an automatic algorithm in order to accurately determine abrupt transitions from video. We suggest a fuzzy rule-based scene cut identification approach in which a set of fuzzy rules are evaluated to detect cuts. The main advantage of the proposed method is that, we incorporate spatial and temporal features to describe video frames, and model cut situations according to temporal dependency of video frames as a set of fuzzy rules. Also, while existing cut detection algorithms are mainly threshold dependent; our method identifies cut transitions using a fuzzy logic which is more flexible. The proposed algorithm is evaluated on a variety of video sequences from different genres. Experimental results, in comparison with the most standard cut detection algorithms confirm our method is more robust to object and camera movements as well as illumination changes.     

ViBE: a compressed video database structured for active browsing and search

In this paper, we describe a unique new paradigm for video database management known as ViBE (video indexing and browsing environment). ViBE is a browseable/searchable paradigm for organizing video data containing a large number of sequences. The system first segments video sequences into shots by using a new feature vector known as the Generalized Trace obtained from the DC-sequence of the compressed data. Each video shot is then represented by a hierarchical structure known as the shot tree. The shots are then classified into pseudo-semantic classes that describe the shot content. Finally, the results are presented to the user in an active browsing environment using a similarity pyramid data structure. The similarity pyramid allows the user to view the video database at various levels of detail. The user can also define semantic classes and reorganize the browsing environment based on relevance feedback. We describe how ViBE performs on a database of MPEG sequences.     

一种层次的电影视频摘要生成方法

合理地组织视频数据对于基于内容的视频分析和检索有着重要的意义。提出了一种基于运动注意力模型的电影视频摘要生成方法。首先给出了一种基于滑动镜头窗的聚类算法将相似的镜头组织成为镜头类;然后根据电影视频场景内容的发展模式,在定义两个镜头类的3种时序关系的基础上,提出了一种基于镜头类之间的时空约束关系的场景检测方法;最后利用运动注意力模型选择场景中的重要镜头和代表帧,由选择的代表帧集合和重要镜头的关键帧集合建立层次视频摘要(场景级和镜头级)。该方法较全面地涵盖了视频内容,又突出了视频中的重要内容,能够很好地应用于电影视频的快速浏览和检索。     

A hierarchical organization scheme for video data

Video stream is based on bits of imagery and is thus difficult to be perceived (by machine) in the content level. To access video content, a suitable organization of video data is critical. This paper proposes a hierarchical structure and a process scheme for organizing video data to facilitate indexing, browsing and querying. Four layers can be distinguished, that is: video program, episode, shot and frame. This hierarchy provides an efficient and flexible structure as well as compact and meaningful abstraction of video program. To achieve such an organization, not only the boundary detection of shots and episodes, but also the extraction of key-frames for shots and the selection of representative shots and frames for episodes are important. Suitable criteria and methods for above tasks are proposed and these techniques have been integrated into a workable system. A number of organization experiments using real video data are performed and some results are presented, which show the effectiveness of the proposed organization scheme and techniques.     

基于C3D的足球视频场景分类算法

足球视频整场比赛持续时间较长,许多视频内容并非广大观众的兴趣所在,因此足球视频场景分类成为了近几十年来研究界的一项重要课题,许多机器学习方法也被应用于这个课题上.本文提出的基于C3D （三维卷积神经网络）的足球视频场景分类算法,将三维卷积运用于足球视频领域,并通过实验验证了本文算法的可行性.本文实验的流程如下：首先,基于帧间差分法和徽标检测法检测法对足球视频场景切换进行检测,实现镜头分割.在此基础上,提取分割镜头的语义特征并将其进行标记,然后通过C3D对足球事件进行分类.本文将足球视频分为7类,分别为远镜头、中镜头、特写镜头、回放镜头、观众镜头、开场镜头及VAR （视频助理裁判）镜头.实验结果表明,该模型在足球视频数据集上的分类准确率为96%.     

基于声像特征的场景检测

视频的结构分析是实现视频基于内容组织和检索的基础。目前 ,已经有很多用于视频镜头分割的成熟算法 ,但准确探测视频场景边界还比较困难。提出了一种融合视频中音频与可视特征进行场景检测的方法。该方法首先分别依据镜头的声、像特征相关性来对镜头进行聚类 ,然后综合处理依声、像相关性得到的镜头聚类来获取场景。实验结果证明 ,此方法较一般使用单一特征的场景检测方法提高了探测的准确率 ,同时也降低了误判率。     

信息论联合聚类算法及其在视频镜头聚类中的应用

视频镜头自动聚类是基于内容索引与检索领域中的重要研究课题．以往相关工作,缺乏考虑描述镜头内容的特征与特征间存在关联性以及关联特征对镜头相似性度量和镜头聚类性能带来的影响．为提供更合理的镜头相似性度量,该文基于信息论联合聚类算法,将特征关联性挖掘和镜头聚类描述为彼此依附的同步优化过程．同时,为自动估计视频中镜头类别数,文中还提出基于贝叶斯信息准则的类别数估计算法．