基于SVD和稀疏子空间聚类的视频摘要

为方便视频的浏览和存储,以概括视频内容为目的的视频摘要技术变得十分重要.针对目前在视频摘要问题中,根据先验知识事先确定和阈值调整2种关键帧数目的确定方法的灵活性及直观性不足这一问题,提出一种基于SVD和稀疏子空间聚类的视频摘要算法.该算法利用SVD对视频在时间维度上进行维数缩减,以累计贡献率为度量标准确定视频在时间维度上的主成分分量个数,将主成分分量个数作为关键帧数目;然后利用稀疏子空间聚类算法对视频帧进行聚类;最后在每一类中选取与其他视频帧相关性最大的帧作为关键帧,生成视频摘要.实验结果表明,文中算法生成的视频摘要内容覆盖率高,可以根据视频长度和类型灵活直观的确定关键帧数目,并且对于不同类型和长度的视频给出了累计贡献率的取值范围,可以为用户提取合适长度的视频摘要提供有效依据.     

基于仿射传播聚类的视频关键帧提取方法

关键帧提取是基于内容的视频摘要生成中的一个重要技术.首次引入仿射传播聚类方法来提取视频关键帧.该方法结合两个连续图像帧的颜色直方图交,通过消息传递,实现数据点的自动聚类.并与k means和SVC(support vector clustering)算法的关键帧提取方法进行了比较.实验结果表明,AP(Affinity Propagation)聚类的关键帧提取速度快,准确性高,生成的视频摘要具有良好的压缩率和内容涵盖率.     

基于融合特征的视频关键帧提取方法

当前对视频的分析通常是基于视频帧,但视频帧通常存在大量冗余,所以关键帧的提取至关重要.现有的传统手工提取方法通常存在漏帧,冗余帧等现象.随着深度学习的发展,相对传统手工提取方法,深度卷积网络可以大大提高对图像特征的提取能力.因此本文提出使用深度卷积网络提取视频帧深度特征与传统方法提取手工特征相结合的方法提取关键帧.首先使用卷积神经网络对视频帧进行深度特征提取,然后基于传统手工方法提取内容特征,最后融合内容特征和深度特征提取关键帧.由实验结果可得本文方法相对以往关键帧提取方法有更好的表现.     

基于视频序列的平面海报生成方法

视频摘要是海量视频浏览的重要手段,现有的方法一般生成短帧视频或多帧序列图像以概括原视频,但它们都受限于原有时间序列,难以高效地表达信息.为此,提出了一种视频海报的自动生成方法来制作更为精练的视频摘要.如何提取视频中的关键画面与如何实现海报自动排版是其中的2个核心问题.对现有的视频关键帧提取方法进行扩展,采用综合视觉关注度模型,提出了基于视觉重要性的关键帧排序算法;在现有排版规则基础上,增加了版面位置对视觉心理感知的影响,设计出位置重要性驱动的视频海报自动排版算法.实验结果证明了文中算法的有效性.     

基于镜头标记与动态滑动窗口的视频摘要生成

提出一种基于镜头标记与动态滑动窗口的视频摘要生成方法。对视频进行镜头分割,利用帧差累积法将镜头分成静态镜头和动态镜头并标记。运用动态滑动窗口,对标记镜头进行归类。提取集合镜头的关键帧,抽取冗余少、涵盖内容丰富的镜头帧,组合成视频摘要。实验结果表明,该方法能快速准确地生成视频摘要。     

基于内容代表性评价的关键帧抽取

视频关键帧提取技术是对视频进行摘要来提高视频内容访问效率的一种操作。传统的方法主要采用聚类的方法,未给出可信的关键帧代表性描述。尝试基于图计算算法实现关键帧抽取,该算法可以将一段视频中候选帧及其之间的关系表示成一个相关图,通过各帧间基于相关性对相邻帧的分值分配进行迭代计算,实现候选帧内容代表性评价;并提出了一种高效的帧间相关性计算方法。该方法通过两帧图像的最大稳定颜色区域(maximally stable colour region,MSCR)的匹配情况判定它们的相关性。在测试视频上将该算法与传统算法进行了对比测试,测试的结果验证了该算法的有效性。     

基于运动特征融合的快速视频超分辨率重构方法

基于深度学习的视频超分辨率重构方法常面临重构精度不高或重构时间过长的问题,难以实时获得高精度的重构结果.针对此问题,文中提出基于深度残差网络的视频超分辨率重构方法,可以快速地对视频进行高精度重构,并在较小分辨率视频的重构过程中达到实时重构的要求.自适应关键帧判别子网自适应地从视频帧中判别关键帧,关键帧经过高精度关键帧重构子网进行重构.对于非关键帧,将其特征与邻近关键帧间的运动估计特征和邻近关键帧的特征逐层融合,直接获得非关键帧的特征,从而快速获得非关键帧的重构结果.在公开数据集上的实验表明,文中方法能实现对视频的快速、高精度重构,鲁棒性较好.     

基于排序学习的视频摘要

视频数据的急剧增加,给视频的浏览、存储、检索等应用带来一系列问题和挑战,视频摘要正是解决此类问题的一个有效途径。针对现有视频摘要算法基于约束和经验设置构造目标函数,并对帧集合进行打分带来的不确定和复杂度高等问题,提出一个基于排序学习的视频摘要生成方法。该方法把视频摘要的提取等价为视频帧对视频内容表示的相关度排序问题,利用训练集学习排序函数,使得排序靠前的是与视频相关度高的帧,用学到的排序函数对帧打分,根据分数高低选择关键帧作为视频摘要。另外,与现有方法相比,该方法是对帧而非帧集合打分,计算复杂度显著降低。通过在TVSum50数据集上测试,实验结果证实了该方法的有效性。     

一种基于局部二值模式的关键帧提取方法

基于旋转不变均衡局部二值模式,提出一种均衡摘要生成速度和摘要信息量的视频摘要算法。首先,使用预采样方法降低视频处理数据量,在此基础之上提取图像的局部二值模式特征;然后对两帧图像相似度进行分析,获取聚类数目。获取聚类数目之后,使用k均值算法对镜头关键帧进行聚类;最后,使用“重要度”函数评测聚类重要度,从“重要”聚类中选取聚类中心最近帧为摘要关键帧。实验结果表明,该算法生成的视频摘要在保证摘要实时性的同时,提高摘要的信息量,较好地表达了视频的内容。     

一种基于K-L变换和聚类的视频摘要方法*

提出了一种基于K-L变换和聚类的视频摘要方法。首先通过对视频帧原始RGB空间进行K-L变换,得到由主轴构成的参数模型;其次运用滑动窗口法进行镜头检测;再次,根据最邻近规则对每个镜头的视频帧进行聚类;最后通过后处理优化聚类结果,提取最靠近聚类中心的帧作为关键帧,组成视频摘要。以新闻视频为例,实验结果证明了算法的有效性。     

基于流形学习和混合模型的视频摘要方法

视频摘要是进行视频浏览、视频检索、视频索引等视频应用的前提,而且视频摘要类似于文本的摘要,也是对视频内容的一个简短概括。为了自动获得既包含视频的主要信息,而冗余信息又少的视频摘要,提出了一种基于流形学习和有限混合模型的自动视频摘要方法。该方法通过对视频序列进行流形建模,首先得到视频场景的初次分割;然后对包含内容较多的场景,使用等距降维方法计算视频帧的特征向量;最后将视频帧的特征向量输入到混合模型进行聚类分析,得到更细粒度的摘要结果。为了实现视频摘要的自动处理,所采用的混合模型需要具有模型选择功能。混合模型的聚类结果和流形建模的结果共同构成了视频摘要。视频分割片段的实验结果表明,在不需人为干预的情况下,所提供的视频摘要不仅包含视频主要内容,而且冗余信息少。     

一种基于机器学习提取多类视频关键帧的方法

提出了一种不局限于视频种类的关键帧提取方法。这种基于机器学习提取视频关键帧的方法能有效地提取视频的关键部分。与以往传统的抽取关键帧方法相比,此方法不是针对某一类视频而设计的。为验证此方法,首先应用GIST描述符提取每幅图像的GIST特征,然后一个类稀疏模型来判断每幅图像的重要程度,最后选择具有高可靠得分的图像帧作为视频的关键帧,提取的关键帧将用于总结视频的主要内容。该方法仅需要一个模型来完成提取关键帧的工作,而不必为每一类视频都训练一个新模型。     

一种层次视频摘要生成方法

视频摘要是视频内容的一种压缩表示方式。为了能够更好地浏览视频，提出了一种根据浏览或检索的粒度不同来建立两种层次视频摘要(镜头级和场景级)的思想，并给出了一种视频摘要生成方法：首先用一种根据内容变化自动提取镜头内关键帧的方法来实现关键帧的提取；继而用一种改进的时间自适应算法通过镜头的组合来得到场景；最后在场景级用最小生成树方法提取代表帧。由于关键帧和代表帧分别代表了它们所在镜头和场景的主要内容，因此它们的序列就构成了视频总结。一些电影视频片段检验的实验结果表明，这种生成方法能够较好地提供粗细两种粒度的视频内容总结。     

基于视觉与结构谱特征融合的视频检索

视频的时序结构特征是视频的重要特征。提出了一种基于DTW和图谱理论的视频结构特征提取与表示方法,并将这种结构特征融合视觉特征用于视频的镜头检索。根据镜头分割中的帧差曲线,使用DTW原理得到视频镜头特征帧,以镜头特征帧作为图的顶点,以特征帧间的关系作为图的边,生成镜头关系图,分解图的邻接矩阵,得到镜头结构谱,融合镜头的视觉特征得到最终的检索结果。实验结果表明,视频的结构谱特征可以有效地表示视频的结构特征,在视频检索中也是有效的。     

视频摘要技术综述

目的 类似于文本摘要,视频摘要是对视频内容的总结。为了合理地评估视频摘要领域的研究进展,正确导向视频摘要的继续研究,本文归纳总结视频摘要技术的主要研究方法和显著性成果,对视频摘要技术进行综述。方法 依据视频摘要的两个主要生成步骤:视频内容分析和摘要生成分别介绍视频摘要的主要研究方法。同时,分析了近5年视频摘要领域的研究状况,对视频摘要发展的新趋势:实时视频摘要和多视角视频摘要进行了阐述。最后,还对视频摘要的评价系统进行了分类总结。结果 对视频摘要进行综述,对摘要中的语义获取难题提出了2种指导性建议。并依据分析结果,展望了视频摘要技术未来的发展方向。结论 视频摘要技术作为视频内容理解的重要组成部分,有较大研究价值。而目前,视频摘要在视频语义表达和摘要评价系统方面并不精确完善,还需进一步的深入研究。     

一种基于子镜头聚类的情节代表帧选取方法

情节代表帧选取方法是视频语义分析和基于内容的视频检索的很重要的方法。代表帧的使用大大减少了视频索引的数据量,同时也为视频摘要和检索提供了一种快捷的方法。该文在子镜头的关键帧提取方法基础上,利用模糊C-均值聚类算法,实现了一种基于子镜头聚类的情节代表帧选取方法。实验证明该方法计算简单,可以较好地代表视频情节。     

一种视频驱动的三维虚拟人动画实现方法

研究实现三维人体动画具有广泛的应用前景和实用意义,提出了一种二维视频驱动的三维人体动画实现方法。基于动态帧的关键帧提取算法从二维视频中构建了二维关键帧集合;基于二维关键帧构建二维人体骨骼模型;利用小孔成像原理和勾股定理计算得到关节特征点的深度坐标,从而得到了反映人体动画的三维数据。实验结果表明,该方法生成的三维人体动画形象逼真、成本低、提高了运动生成的实时性,能够应用于虚拟现实、计算机游戏、三维视频游戏制作等领域。