基于内容的视频检索的关键帧提取

关键帧提取是基于内容的视频检索中的一个重要技术。本文在总结前人的工作基础上,提出了一种利用视频帧之间互信息量算法来提取关键帧的方法。该方法结合两个连续图像帧的特征互信息量的变化关系来提取关键帧,并与视频聚类的关键帧提取方法进行了比较。实验结果表明,利用该方法提取的关键帧能较好地代表镜头内容且提取关键帧的速度比视频聚类的关键帧提取方法快。     

基于图像相似度的关键帧提取算法

为了在视频管理数据库中提供有效的视频检索和浏览功能,必须用简明的方式表示视频的内容,关键帧提取技术是视频分析和视频检索的基础,现阶段关键帧提取技术已成为视频检索的一个重要研究方向。文中提出了一种改进的基于内容的视频关键帧提取方法-基于图像相似度的关键帧提取算法。实验结果表明这种方法可以较好地完成关键帧的提取工作,降低关键帧的冗余度,提高关键帧代表性。     

基于时序上下文的视频场景分类

以传统的词袋模型为基础,根据相邻镜头关键帧之间具有相关性的特点提出了一种用于视频场景分类的模型。将视频片段进行分割,提取关键帧,对关键帧图像归一化。将关键帧图像作为图像块以时序关系合成新图像,提取新图像的SIFT特征及HSV颜色特征,将图像的SIFT特征及HSV颜色特征数据映射到希尔伯特空间。通过多核学习,选取合适的核函数组对每个图像进行训练,得到分类模型。通过对多种视频进行实验,实验结果表明,该方法在视频场景分类中能取得很好的效果。     

基于互信息熵的全景视频关键帧数据实时提取系统设计

摘要：关键帧数据提取可以降低全景视频检索中产生的数据量,为了提高全景视频镜头边缘的检测与关键帧的提取的处理能力,提出基于互信息熵的全景视频关键帧数据实时提取系统设计。根据全景视频关键帧数据提取系统的硬件结构,分析视频播放器和镜头边缘检测器的工作原理;在系统的软件设计中,将待检测的两帧图像随机划分为子图像块,通过计算子图像块之间的互信息熵,获取全景视频图像的突变帧,将关键图像帧的特征差值曲线作为全景视频关键帧的时序特征,完成全景视频中关键帧数据的特征匹配,选择一个能够体现全景视频图像属性的特征,描述视频中的主要信息,利用数值化分析的方式,将全景视频帧的特征转换成数组形式的特征向量,通过计算互信息熵值,提取全景视频关键帧数。系统测试结果表明,文中系统将关键帧数据提取的查全率和查准率分别提高到95%和98%以上。能够准确提取出全景监控视频的关键帧数据,具有更好的全景视频处理能力。     

基于仿射传播聚类的视频关键帧提取方法

关键帧提取是基于内容的视频摘要生成中的一个重要技术.首次引入仿射传播聚类方法来提取视频关键帧.该方法结合两个连续图像帧的颜色直方图交,通过消息传递,实现数据点的自动聚类.并与k means和SVC(support vector clustering)算法的关键帧提取方法进行了比较.实验结果表明,AP(Affinity Propagation)聚类的关键帧提取速度快,准确性高,生成的视频摘要具有良好的压缩率和内容涵盖率.     

基于RS的关键帧提取仿真研究

研究视频图像中关键图像提取问题,视频图像传输采集效率低,且易造成资源浪费。针对传统的视频图像关键帧技术,都是以图像中的关键特征为提取依据的。当关键图像中特征不明显或者与非关键图像特征重复时,由于特征的关键帧图像提取就会发生错误,导致算法错误率和漏检率高。为解决上述问题,提出一种基RS理论的关键帧提取算法,首先提取图像DCT系数,利用RS理论的属性约简产生信息系统的核,对应到视频即为关键帧,避免了传统方法对图像关键特征的依赖。实验结果表明,算法可以提高关键帧提取的准确性和提取效率,为快速提取提供了依据。     

基于视觉注意模型的自适应视频关键帧提取

关键帧提取是基于内容视频检索领域中一个重要的研究课题。提出了一种基于视觉注意模型的自适应视频关键帧提取方法。该方法分别提取视频中的运动和空间显著度,并用一种运动优先非线性混合模式将显著度合成为视觉注意度。在此基础上提出一种基于视觉注意度的局部和整体两级关键帧提取策略,先采用局部策略,选择镜头内注意度最大的帧作为关键帧候选;再根据视觉注意度的变化,为各个镜头自适应分配关键帧数目作为整体关键帧分配策略。实验证明,该方法提取的关键帧较为符合人类的视觉系统特性,而且该方法具有根据内容变化自适应提取关键帧等特点。     

MPEG压缩视频流中关键帧的提取算法

在基于视频内容检索的多媒体系统中，需要进行镜头分割、提取关键帧，需要用静态图像来表示视频内容以及对该图像的特性进行分析。视频序列中相邻画面一般具有相似和连续的特性，这是镜头分割和关键帧提取的共同理论依据。本文构造的关键帧提取系统，能直接提取关键帧而不用先进行镜头分割，只需要Ⅰ帧信息及其频城直流分量，能达到最小程度的解码。在关键帧的判定方面．通过分析当前镜头分割技术的特点，分析其发展方向，提出质点等价法和基于宏块互异的方法。     

结合互信息量与模糊聚类的关键帧提取方法

关键帧是描述一个镜头的关键图像帧,它通常反映一个镜头的主要内容,因此,关键帧提取技术是视频分析和基于内容的视频检索的基础。提出了一种结合互信息量与模糊聚类的关键帧提取方法,一方面通过互信息量算法对视频片段进行镜头检测可以保持视频的时间序列和动态信息,另一方面通过模糊聚类使镜头中的关键帧能很好的反映视频镜头的主要内容。最后构建了一套针对MPEG-4视频的关键帧提取系统,通过实验证明该系统提取的关键帧,可以较好地代表视频内容,并且有利于实现视频分析和检索。     

一种基于核聚类的关键帧提取方法

为了在视频数据库中提供有效的视频检索和浏览功能,必须用简明的方式表示视频的内容.关键帧是对视频镜头的简洁表示,关键帧提取已成为视频检索的一个重要研究方向.文中提出了一种基于核聚类的视频关键帧提取方法,它通过对视频提取颜色特征,并将这些特征作为样本映射到高维特征空间之后,在特征空间中进行聚类,使原来没有显现的特征突现出来,自动将内容相似的样本归为同类,每一类可取一个样本代表其内容,这样的样本即为关键帧.实验结果表明这种方法可以较好地概括视频内容.     

基于粒子群的关键帧提取算法

关键帧提取是基于内容的视频检索中的重要一步,为了能够有效地提取出不同类型视频的关键帧,提出一种基于粒子群的关键帧提取算法。该方法首先提取出视频中每帧的全局运动和局部运动特征,然后通过粒子群算法自适应地提取视频关键帧。实验结果表明,采用该算法对不同类型的视频提取出的关键帧具有较好的代表性。     

基于视频序列的平面海报生成方法

视频摘要是海量视频浏览的重要手段,现有的方法一般生成短帧视频或多帧序列图像以概括原视频,但它们都受限于原有时间序列,难以高效地表达信息.为此,提出了一种视频海报的自动生成方法来制作更为精练的视频摘要.如何提取视频中的关键画面与如何实现海报自动排版是其中的2个核心问题.对现有的视频关键帧提取方法进行扩展,采用综合视觉关注度模型,提出了基于视觉重要性的关键帧排序算法;在现有排版规则基础上,增加了版面位置对视觉心理感知的影响,设计出位置重要性驱动的视频海报自动排版算法.实验结果证明了文中算法的有效性.     

基于图像主色彩的视频关键帧提取方法

针对现有关键帧提取算法存在的计算量大、阈值选择困难、视频类型受限等问题, 提出了一种基于图像主色彩的视频关键帧提取方法。该方法利用基于八叉树结构的色彩量化算法提取图像主色彩特征,通过计算颜色特征的相似度实现镜头边界检测,最后采用K-均值算法对提取出的代表帧序列进行聚类,准确提取出指定数目的关键帧。实验结果表明,所提算法计算简单、空间耗费少,具有良好的通用性和适应性。     

基于代表帧的视频摘要方法在家庭视频中的应用

依据目前的研究状况和家庭视频的特点,提出一种适用于家庭视频的基于场景代表帧的视频摘要生成方法.场景代表帧的选取是在提取法得到.最后给出了基于内容的家庭视频摘要系统.     

基于K均值聚类的视频关键帧提取技术研究

文章提出了一种基于k均值聚类的视频关键帧提取算法.该算法在视频的镜头分割算法之上,通过层次聚类对视频内容进行初步划分,之后结合k均值聚类算法对初步提取的关键帧进行直方图特征对比去掉冗余帧,最终确定视频的关键帧序列.经过大量的实验数据证明,该算法能够提取出冗余度较低、代表性较强的关键帧,一定程度上为视频关键帧提取提供了有...     

基于异构信息双向传播的网络视频分类方法

针对以往大多数网络视频分类研究只将文本和视觉特征进行简单融合的问题,提出了基于异构信息双向传播的网络视频分类方法。首先基于K均值方法将视频关键帧聚类成多个簇,在帧层次上对视频数据进行建模;将每个簇中代表性关键帧的文本信息传播至该簇作为其文本解释,完成从文本至视觉模态的传播;对每个关键帧,将其对应簇的文本解释传播至该关键帧,完成从视觉至文本模态的传播;最后基于支持向量机(SVM)对网络视频进行分类。在信息的双重传播中两类异构数据得到了密切的融合。实验结果表明该方法有效地提高了网络视频分类的准确率。     

Feature aggregation based visual attention model for video summarization

Video summarization is an integral component of video archiving systems. It provides small versions of the videos that are suitable for enhancing browsing and navigation capabilities. A popular method to generate summaries is to extract a set of key frames from the video, which conveys the overall message of the video. This paper introduces a novel feature aggregation based visual saliency detection mechanism and its usage for extracting key frames. The saliency maps are computed based on the aggregated features and motion intensity. A non-linear weighted fusion mechanism combines the two saliency maps. On the resultant map, a Gaussian weighting scheme is used to assign more weight to the pixels close to the center of the frame. Based on the final attention value of each frame, the key frames are extracted adaptively. The experimental results, based on different evaluation standards, demonstrate that the proposed scheme extracts semantically significant key frames.     

一种基于语义的视频场景分割算法

针对如何在镜头基础上进行聚类，以得到更高层次的场景问题，提出了一个基于语义的场景分割算法。该算法首先将视频分割为镜头，并提取镜头的关键帧。然后计算关键帧的颜色直方图和MPEG-7边缘直方图，以形成关键帧的特征；接着利用镜头关键帧的颜色和纹理特征对支持向量机（SVM）进行训练来构造7个基于SVM对应不同语义概念的分类器，并利用它们对要进行场景分割的视频镜头关键帧进行分类，以得到关键帧的语义。并根据关键帧包含的语义概念形成了其语义概念矢量，最后根据语义概念矢量通过对镜头关键帧进行聚类来得到场景。另外．为提取场景关键帧，还构建了镜头选择函数，并根据该函数值的大小来选择场景的关键帧。实验结果表明，该场景分割算法与Hanjalic的方法相比，查准率和查全率分别提高了34．7％和9．1％。     

使用PSNR周期特性检测视频帧率上转伪造

帧率上转（FRUC）是最常用的一种视频编辑技术,它在原始视频帧间周期性地插入新的帧,以便增加视频的帧率,这种技术经常用于两段不同帧率的视频拼接伪造中。为了减少视觉痕迹,高级的FRUC方法通常采用运动补偿的插值方式,这也带来了针对这种插值伪造检测的挑战。在本文,我们提出一种新的简单但有效的方法,可正确检测出这种伪造,并能估计出视频的原始帧率。该方法利用了FRUC算法生成的插值帧与相邻原始帧构成的视频序列再次插值重建得到的帧对在PSNR上的周期性差异。测试序列的实验结果表明本文方法检测准确率高,其中对有损压缩视频序列的测试结果进一步证实了该方法的实际使用价值。     

Automatic video data structuring through shot partitioning and key-frame computing

In video processing, a common first step is to segment the videos into physical units, generally called shots. A shot is a video segment that consists of one continuous action. In general, these physical units need to be clustered to form more semantically significant units, such as scenes, sequences, programs, etc. This is the so-called story-based video structuring. Automatic video structuring is of great importance for video browsing and retrieval. The shots or scenes are usually described by one or several representative frames, called key-frames. Viewed from a higher level, key frames of some shots might be redundant in terms of semantics. In this paper, we propose automatic solutions to the problems of: (i) video partitioning, (ii) key frame computing, (iii) key frame pruning. For the first problem, an algorithm called “net comparison” is devised. It is accurate and fast because it uses both statistical and spatial information in an image and does not have to process the entire image. For the last two problems, we develop an original image similarity criterion, which considers both spatial layout and detail content in an image. For this purpose, coefficients of wavelet decomposition are used to derive parameter vectors accounting for the above two aspects. The parameters exhibit (quasi-) invariant properties, thus making the algorithm robust for many types of object/camera motions and scaling variances. The novel “seek and spread” strategy used in key frame computing allows us to obtain a large representative range for the key frames. Inter-shot redundancy of the key-frames is suppressed using the same image similarity measure. Experimental results demonstrate the effectiveness and efficiency of our techniques.