映射结合聚类的视频关键帧提取

目的 视频摘要技术在多媒体数据处理和计算机视觉中都扮演着重要的角色。基于聚类的摘要方法多结合图像全局或局部特征,对视频帧进行集群分类操作,再从各类中获取具有代表性的关键帧。然而这些方法多需要提前确定集群的数目,自适应的方法也不能高效的获取聚类的中心。为此,提出一种基于映射和聚类的图像密度值分析的关键帧选取方法。方法 首先利用各图像间存在的差异,提出将其映射至2维空间对应点的度量方法,再依据点对间的相对位置和邻域密度值进行集群的聚类,提出根据聚类的结果从视频中获取具有代表性的关键帧的提取方法。结果 分别使用提出的度量方法对Olivetti人脸库内图像和使用关键帧提取方法对Open Video库进行测试,本文关键帧提取方法的平均查准率达到66%、查全率达到74%,且F值较其他方法高出11%左右达到了69%。结论 本文提出的图像映射后聚类的方法可有效进行图像类别的识别,并可有效地获取视频中的关键帧,进而构成视频的摘要内容。     

基于SVD和稀疏子空间聚类的视频摘要

为方便视频的浏览和存储,以概括视频内容为目的的视频摘要技术变得十分重要.针对目前在视频摘要问题中,根据先验知识事先确定和阈值调整2种关键帧数目的确定方法的灵活性及直观性不足这一问题,提出一种基于SVD和稀疏子空间聚类的视频摘要算法.该算法利用SVD对视频在时间维度上进行维数缩减,以累计贡献率为度量标准确定视频在时间维度上的主成分分量个数,将主成分分量个数作为关键帧数目;然后利用稀疏子空间聚类算法对视频帧进行聚类;最后在每一类中选取与其他视频帧相关性最大的帧作为关键帧,生成视频摘要.实验结果表明,文中算法生成的视频摘要内容覆盖率高,可以根据视频长度和类型灵活直观的确定关键帧数目,并且对于不同类型和长度的视频给出了累计贡献率的取值范围,可以为用户提取合适长度的视频摘要提供有效依据.     

基于仿射传播聚类的视频关键帧提取方法

关键帧提取是基于内容的视频摘要生成中的一个重要技术.首次引入仿射传播聚类方法来提取视频关键帧.该方法结合两个连续图像帧的颜色直方图交,通过消息传递,实现数据点的自动聚类.并与k means和SVC(support vector clustering)算法的关键帧提取方法进行了比较.实验结果表明,AP(Affinity Propagation)聚类的关键帧提取速度快,准确性高,生成的视频摘要具有良好的压缩率和内容涵盖率.     

基于内容二次聚类的关键帧提取算法

提出了一种基于内容二次聚类的关键帧提取算法。此算法在计算图像帧相似度时,通过分块给不同的块赋予不同的权值,以体现出图像在语义上的重点内容。同时,通过计算自适应阈值对视频进行初次聚类,并计算类间距离,在此基础上再进行二次聚类后得到最终类别,从每个最终类中选取距离类中心最近的图像帧作为关键帧。这种方法经过二次聚类后可克服一次聚类会出现冗余的缺点,实验证明,此算法提取的关键帧更全面、准确地体现了原视频的内容。     

基于视频聚类的关键帧提取算法

关键帧可以有效减少视频索引的数据量,是分析和检索视频的关键。在提取关键帧过程中,为了解决传统聚类算法对初始参数敏感的问题,提出了一种改进的基于视频聚类的关键帧提取算法。首先,提取视频帧的特征,依据帧间相似度,对视频帧进行层次聚类,并得到初始聚类结果;接着使用K-means算法对初始聚类结果进行优化,最后提取聚类的中心作为视频的关键帧。实验结果表明该方法可以大幅提高关键帧的准确率和查全率,能较好地表达视频的主要内容。     

基于自适应阈值的自动提取关键帧的聚类算法

利用无监督聚类算法来提取关键帧是一种常用的方法,但该算法对类别数和初始类划分较敏感,在对视频内容一无所知的情况下,要求预先指定聚类数目是一个很困难的问题．提出一种二次聚类的方法;第1次以镜头内相邻两帧的相似度为数据样本进行聚类（分成两类）,计算确定第2次聚类所需的阈值;第2次采用动态聚类的ISODATA算法,以视频序列的帧为数据样本进行聚类,得到最终聚类结果．最后在每类中自动提取距其类中心最近的帧为关键帧．该算法简单且行之有效,无需预定义任何阈值（如聚类数目）．对大量不同特点的视频进行了实验,该算法均取得了较好的实验结果．     

基于语义相关的视频关键帧提取算法

视频关键帧提取是视频摘要的重要组成部分,关键帧提取的质量直接影响人们对视频的认识。传统的关键帧提取算法大多都是基于视觉相关的提取算法,即单纯提取底层信息计算其相似度,忽略语义相关性,容易引起误差,同时也造成了一定的冗余。对此提出了一种基于语义的视频关键帧提取算法。该算法首先使用层次聚类算法对视频关键帧进行初步提取;然后结合语义相关算法对初步提取的关键帧进行直方图对比,去掉冗余帧,确定视频的关键帧;最后与其他算法比较,所提算法提取的关键帧冗余度相对较小。     

基于概率超图聚类的关键帧提取方法

现有聚类方法在提取关键帧时存在着划分敏感、无法表达镜头内大量帧图像高次相关关系等问题。鉴于此,提出基于概率超图聚类的关键帧提取方法。该方法首先构建镜头帧概率超图,然后使用概率超图谱的聚类学习算法对镜头中的帧图像进行聚类,最后选取各聚类中心的帧图片作为该镜头的关键帧。实验表明,该方法计算简单,所提取的关键帧准确性高,提取结果能够更好地反映视频的主要内容。     

一种基于K-L变换和聚类的视频摘要方法*

提出了一种基于K-L变换和聚类的视频摘要方法。首先通过对视频帧原始RGB空间进行K-L变换,得到由主轴构成的参数模型;其次运用滑动窗口法进行镜头检测;再次,根据最邻近规则对每个镜头的视频帧进行聚类;最后通过后处理优化聚类结果,提取最靠近聚类中心的帧作为关键帧,组成视频摘要。以新闻视频为例,实验结果证明了算法的有效性。     

基于图像主色彩的视频关键帧提取方法

针对现有关键帧提取算法存在的计算量大、阈值选择困难、视频类型受限等问题, 提出了一种基于图像主色彩的视频关键帧提取方法。该方法利用基于八叉树结构的色彩量化算法提取图像主色彩特征,通过计算颜色特征的相似度实现镜头边界检测,最后采用K-均值算法对提取出的代表帧序列进行聚类,准确提取出指定数目的关键帧。实验结果表明,所提算法计算简单、空间耗费少,具有良好的通用性和适应性。     

基于排序学习的视频摘要

视频数据的急剧增加,给视频的浏览、存储、检索等应用带来一系列问题和挑战,视频摘要正是解决此类问题的一个有效途径。针对现有视频摘要算法基于约束和经验设置构造目标函数,并对帧集合进行打分带来的不确定和复杂度高等问题,提出一个基于排序学习的视频摘要生成方法。该方法把视频摘要的提取等价为视频帧对视频内容表示的相关度排序问题,利用训练集学习排序函数,使得排序靠前的是与视频相关度高的帧,用学到的排序函数对帧打分,根据分数高低选择关键帧作为视频摘要。另外,与现有方法相比,该方法是对帧而非帧集合打分,计算复杂度显著降低。通过在TVSum50数据集上测试,实验结果证实了该方法的有效性。     

基于空时变换网络的视频摘要生成

视频摘要生成是计算机视觉领域必不可少的关键任务,这一任务的目标是通过选择视频内容中信息最丰富的部分来生成一段简洁又完整的视频摘要,从而对视频内容进行总结.所生成的视频摘要通常为一组有代表性的视频帧（如视频关键帧）或按时间顺序将关键视频片段缝合所形成的一个较短的视频.虽然视频摘要生成方法的研究已经取得了相当大的进展,但现有的方法存在缺乏时序信息和特征表示不完备的问题,很容易影响视频摘要的正确性和完整性.为了解决视频摘要生成问题,本文提出一种空时变换网络模型,该模型包括三大模块,分别为：嵌入层、特征变换与融合层、输出层.其中,嵌入层可同时嵌入空间特征和时序特征,特征变换与融合层可实现多模态特征的变换和融合,最后输出层通过分段预测和关键镜头选择完成视频摘要的生成.通过空间特征和时序特征的分别嵌入,以弥补现有模型对时序信息表示的不足;通过多模态特征的变换和融合,以解决特征表示不完备的问题.我们在两个基准数据集上做了充分的实验和分析,验证了我们模型的有效性.     

Video Summarization Using R-Sequences

In this paper, we propose a new method of temporal summarization of digital video. First, we address the problem of extracting a fixed number of representative frames to summarize a given digital video. To solve it, we have devised an algorithm called content-based adaptive clustering (CBAC). In our algorithm, shot boundary detection is not needed. Video frames are treated as points in the multi-dimensional feature space corresponding to a low-level feature such as color, motion, shape and texture. The changes of their distances are compared globally for extraction of representative frames. Second, we address how to use the representative frames to comprise representative sequences (R - Sequence) which can be used for temporal summarization of video. A video player based on our devised algorithm is developed which has functions of content-based browsing and content-based video summary. Experiments are also shown in the paper.     

基于局部注意的快速视频目标检测方法

视频目标检测是对视频内的目标进行准确分类与定位。现有基于深度学习的视频目标检测方法通过光流传播特征,不仅存在模型参数量大的问题,而且直接将光流应用于高层特征难以建立准确的空间对应关系。提出一种轻量级的视频目标检测方法。通过设计一种特征传播模型,在不同帧的局部区域内将高层特征从关键帧传播到非关键帧,并将有限的计算资源分配给关键帧,以加快检测速度。构建动态分配关键帧模块,根据目标运动速度动态地调整关键帧选择间隔,以减少计算量并提高检测精度。在此基础上,为进一步降低最大延迟,提出异步检测模式,使得特征传播模型和关键帧选择模块协同工作。实验结果表明,该方法的检测速度和最大延迟分别为31.8 frame/s和31 ms,与基于内存增强的全局-局部聚合方法相比,其在保证检测精度的前提下,具有较快的检测速度,并且实现实时在线的视频目标检测。     

自注意力机制的视频摘要模型

针对如何高效地识别出视频中具有代表性的内容问题,提出了一种对不同的视频帧赋予不同重要性的视频摘要算法.首先使用长短期记忆网络来建模视频序列的时序关系,然后利用自注意力机制建模视频中不同帧的重要性程度并提取全局特征,最后通过每一帧回归得到的重要性得分进行采样,并使用强化学习策略优化模型参数.其中,强化学习的动作定义为每一帧选或者不选,状态定义为当前这个视频的选择情况,反馈信号使用多样性和代表性代价.在2个公开数据集SumMe和TVSum中进行视频摘要实验,并使用F-度量来衡量这2个数据集上不同视频摘要算法的准确度,实验结果表明,提出的视频摘要算法结果要优于其他算法.     

Dynamic video summarization using two-level redundancy detection

The mushroom growth of video information, consequently, necessitates the progress of content-based video analysis techniques. Video summarization, aiming to provide a short video summary of the original video document, has drawn much attention these years. In this paper, we propose an algorithm for video summarization with a two-level redundancy detection procedure. By video segmentation and cast indexing, the algorithm first constructs story boards to let users know main scenes and cast (when this is a video with cast) in the video. Then it removes redundant video content using hierarchical agglomerative clustering in the key frame level. The impact factors of scenes and key frames are defined, and parts of key frames are selected to generate the initial video summary. Finally, a repetitive frame segment detection procedure is designed to remove redundant information in the initial video summary. Results of experimental applications on TV series, movies and cartoons are given to illustrate the proposed algorithm.

基于目标检测及跟踪的视频摘要技术研究

为了能够在不丢失有用信息的前提下对海量监控视频进行摘要,提出一种基于目标检测及跟踪的视频摘要技术。首先根据混合高斯模型对视频进行背景建模,获得监控视频的背景;然后通过背景减法对运动目标进行检测,得到前景运动目标;其次对检测到的运动目标采用分层关联的思想进行目标跟踪,得到运动目标的完整信息;最后将这些运动目标及视频背景重新组装成摘要视频。实验结果表明,该方法能够有效地对监控视频进行浓缩,形成的摘要视频能够完整地保存原有视频信息,减少了存储空间,降低了成本,方便了相关人员及时获取有用信息,提高了工作效率。     

Two-stage hierarchical video summary extraction to match low-level user browsing preferences

A compact summary of video that conveys visual content at various levels of detail enhances user interaction significantly. In this paper, we propose a two-stage framework to generate MPEG-7-compliant hierarchical key frame summaries of video sequences. At the first stage, which is carried out off-line at the time of content production, fuzzy clustering and data pruning methods are applied to given video segments to obtain a nonredundant set of key frames that comprise the finest level of the hierarchical summary. The number of key frames allocated to each shot or segment is determined dynamically and without user supervision through the use of cluster validation techniques. A coarser summary is generated on-demand in the second stage by reducing the number of key frames to match the low-level browsing preferences of a user. The proposed method has been validated by experimental results on a collection of video programs.