一种层次的电影视频摘要生成方法

合理地组织视频数据对于基于内容的视频分析和检索有着重要的意义。提出了一种基于运动注意力模型的电影视频摘要生成方法。首先给出了一种基于滑动镜头窗的聚类算法将相似的镜头组织成为镜头类;然后根据电影视频场景内容的发展模式,在定义两个镜头类的3种时序关系的基础上,提出了一种基于镜头类之间的时空约束关系的场景检测方法;最后利用运动注意力模型选择场景中的重要镜头和代表帧,由选择的代表帧集合和重要镜头的关键帧集合建立层次视频摘要(场景级和镜头级)。该方法较全面地涵盖了视频内容,又突出了视频中的重要内容,能够很好地应用于电影视频的快速浏览和检索。     

一种层次视频摘要生成方法

视频摘要是视频内容的一种压缩表示方式。为了能够更好地浏览视频，提出了一种根据浏览或检索的粒度不同来建立两种层次视频摘要(镜头级和场景级)的思想，并给出了一种视频摘要生成方法：首先用一种根据内容变化自动提取镜头内关键帧的方法来实现关键帧的提取；继而用一种改进的时间自适应算法通过镜头的组合来得到场景；最后在场景级用最小生成树方法提取代表帧。由于关键帧和代表帧分别代表了它们所在镜头和场景的主要内容，因此它们的序列就构成了视频总结。一些电影视频片段检验的实验结果表明，这种生成方法能够较好地提供粗细两种粒度的视频内容总结。     

基于HSV空间模型的视频场景切分

本文提出了一种基于HSV颜色空间模型的视频摘要场景切分方法。该方法将图像帧的RGB转换为相对应的HSV值,然后对H、S、V进行非等间隔量化,再合成为一维特征矢量。计算视频前后两帧图像的一维特征矢量直方图,求出它们的相似度,从而判断出是否发生了场景切换。实验证明,该方法能够比较准确地对视频进行场景切分,为视频摘要的关键帧提取提供了必要的条件。     

基于HSV空间模型的视频场景切分

针对RGB彩色空间模型下统计直方图用于切分场景时,存在对内容变化不敏感、计算量大等问题,提出了一种基于HSV空间模型的视频场景切分方法.该方法将图像帧的RGB转换为相对应的HSV值,然后对H、S、V进行非等间隔量化,再合成为一维特征矢量.计算视频前后两帧图像的一维特征矢量直方图,求出它们的相似度,从而判断出是否发生了场景切换.实验证明,该方法能够比较准确地对视频进行场景切分.为视频摘要的关键帧提取提供了必要的条件.     

监控视频聚簇模式挖掘及其应用

在监控视频中,新输入的视频帧与可更新背景的差异可以实时反映监控场景中运动目标的大小和多少等信息.本文以此计算帧运动量,提出一种监控视频场景聚簇模式挖掘方法.先依据帧运动量的变化分割监控视频流,然后计算视频段的平均运动量,并对其进行K均值聚类分组,最后利用获得的聚簇知识,可以对监控视频实现多尺度摘要和相似视频检索.     

基于流形学习和混合模型的视频摘要方法

视频摘要是进行视频浏览、视频检索、视频索引等视频应用的前提,而且视频摘要类似于文本的摘要,也是对视频内容的一个简短概括。为了自动获得既包含视频的主要信息,而冗余信息又少的视频摘要,提出了一种基于流形学习和有限混合模型的自动视频摘要方法。该方法通过对视频序列进行流形建模,首先得到视频场景的初次分割;然后对包含内容较多的场景,使用等距降维方法计算视频帧的特征向量;最后将视频帧的特征向量输入到混合模型进行聚类分析,得到更细粒度的摘要结果。为了实现视频摘要的自动处理,所采用的混合模型需要具有模型选择功能。混合模型的聚类结果和流形建模的结果共同构成了视频摘要。视频分割片段的实验结果表明,在不需人为干预的情况下,所提供的视频摘要不仅包含视频主要内容,而且冗余信息少。     

场景切换视频自适应帧间码率控制

针对视频帧中可能出现的大量场景切换,提出一种基于非连接点的场景切换检测算法,提高编码性能,该场景检测算法复杂度低,在运动估计的同时,完成视频场景切换检测。场景切换将导致GOP(group of pictures)长度的变化,并可能出现GOP长度太短的情况。提出改进的自适应GOP时域滤波技术,避免由于GOP太短引起的编码性能下降。针对视频场景切换检测分割出的不同长度的GOP,提出一种基于率失真模型的帧间码率控制算法,利用视频的失真与码率及视频帧复杂度的关系,对帧间码率分配进行优化,提高重构视频帧的总质量。实验结果表明,基于场景检测的自适应帧间码率控制算法能够获得较好的编码性能。     

基于排序学习的视频摘要

视频数据的急剧增加,给视频的浏览、存储、检索等应用带来一系列问题和挑战,视频摘要正是解决此类问题的一个有效途径。针对现有视频摘要算法基于约束和经验设置构造目标函数,并对帧集合进行打分带来的不确定和复杂度高等问题,提出一个基于排序学习的视频摘要生成方法。该方法把视频摘要的提取等价为视频帧对视频内容表示的相关度排序问题,利用训练集学习排序函数,使得排序靠前的是与视频相关度高的帧,用学到的排序函数对帧打分,根据分数高低选择关键帧作为视频摘要。另外,与现有方法相比,该方法是对帧而非帧集合打分,计算复杂度显著降低。通过在TVSum50数据集上测试,实验结果证实了该方法的有效性。     

视频层次结构挖掘

视频处理的关键是视频信息的结构化,视频基本结构是由帧、镜头、场景和视频节目构成的层次结构。视频层次结构挖掘的一个简单框架是对视频进行镜头分割、抽取镜头特征和视频场景构造。论文在镜头分割的基础上提出了基于多特征的镜头聚类分析和基于镜头的场景边界检测两种视频场景构造方法,从而实现视频层次结构挖掘。实验表明,基于镜头的场景边界检测性能优于基于多特征的镜头聚类分析。     

基于局部-空间模型的视频摘要研究与设计

介绍视频摘要技术以及缩略视频的3类研究方法,提出一种基于局部-空间模型的视频摘要研究方法.通过对视频序列的帧内与帧间信息的分析得到关键帧,对提取出的关键帧进行双线性插值形成视频段,运用DirectShow开发软件的DES对视频段编辑融合成最终的动态视频摘要.实验结果表明,在不需要人工干预的情况下,自动生成的视频摘要不仅...     

视频摘要技术研究*

对视频摘要技术进行了研究,将视频摘要按其表现形式分为以标题、关键帧和故事板为代表的静态视频摘要以及以缩略视频为代表的动态视频摘要,并对其中涉及的关键技术进行了探讨,最后对视频摘要技术未来的发展方向进行了总结与展望。     

一种基于机器学习提取多类视频关键帧的方法

提出了一种不局限于视频种类的关键帧提取方法。这种基于机器学习提取视频关键帧的方法能有效地提取视频的关键部分。与以往传统的抽取关键帧方法相比,此方法不是针对某一类视频而设计的。为验证此方法,首先应用GIST描述符提取每幅图像的GIST特征,然后一个类稀疏模型来判断每幅图像的重要程度,最后选择具有高可靠得分的图像帧作为视频的关键帧,提取的关键帧将用于总结视频的主要内容。该方法仅需要一个模型来完成提取关键帧的工作,而不必为每一类视频都训练一个新模型。     

用无监督模糊聚类方法进行视频内容的分层表示

为了在视频数据库中提供有效的视频检索和浏览功能,必须用简明的方式表示视频的内容。由于视频数据具有层次性结构,在镜头边界检测后,可以利用聚类方法按不同的相似性尺度选取代表帧和代表镜头,对视频内容进行抽象概括的表示。文中提出了一种基于无监督模糊聚类对视频内容进行分层表示的算法,它用无监督聚类方法选取镜头的代表帧,并用模糊聚类算法对代表帧进行层次化聚类以选取代表镜头和代表场景。实验结果表明这种方法可以较好地概括视频的内容,方便用户检索和浏览。     

一个基于内容的新闻视频浏览和查询系统:NewsBR

提出了一个基于内容的新闻视频浏览和查询系统NewsBR，这个系统是建立在非常准确的新闻故事分段和主题字幕文本提取之上的，它的主要特征包括：基于类别的新闻故事浏览，基于关键帧的视频摘要和基于关键词的新闻故事查询，本文详细讲述了新闻故事的分段，主题字幕文本的提取和在此之上的基于内容的视频浏览和查询，这个系统对于全面了解新闻视频的内容很有帮助且行之有效．     

视频镜头关键帧重构算法及其在检索中的应用

提出一种利用重构的静态关键帧和动态关键帧来表示视频镜头内容的检索算法．该算法充分利用视频序列在时间轴上的特性构建静态关键帧,并利用三维小波变换构建动态关键帧,将运动信息和静态信息相结合以更好地反映视频序列的内容．实验结果表明,该算法的性能优于基于时域最大值关键帧的算法及其改进算法．     

综合利用声视特征的新闻视频结构化模型

视频结构化表征和基于这种表征进行相似度比较是视频检索的前提和最基础的重要工作。该文受视频制作过程的启发,通过分析新闻视频的内容结构特点,提出一个基于多语义抽象层次表示的5层视频目录结构化模型;在此基础上,采用分层处理思想,通过综合利用声视特征实现了基于目录结构的新闻视频结构化,克服了单纯用视觉特征难以胜任场景分段的困难,实验验证了该文思想及相应算法的有效性。     

基于时序结构图的视频流描述方法

通过对视频流的分解可以获得基于关键帧集的视频流表示,但这种表示方法不能反映出视频流中隐藏的故事发展关系,为揭示这种关系,提出了一种视频流的快速聚类算法,用于对视频流分解单元进行相关性分析,该算法通过检测视频镜头间的相似性和连续性,实现把来自同一摄像机的视频镜头归并入同一视频类,并帱此得到而且为矿山频流的快速浏览和检索提供了新的思路。     

面向视频语义分析的局部敏感的可鉴别稀疏表示

视频语义分析已经成为人们研究的热点。在传统稀疏表示方法中,相似视频特征未必能产生相近稀疏表示结果。在基于稀疏表示的视频语义分析中,假定相似的视频数据样本的稀疏表示也相似,即两个相似视频特征的稀疏系数之间的距离较小。为了提高视频语义分析的准确性,基于该假设提出一种面向视频语义分析的局部敏感的可鉴别稀疏表示方法。该方法在局部敏感稀疏表示中引入基于稀疏系数的鉴别损失函数,优化构建稀疏表示的字典,使稀疏表示特征满足类内离散度小、类间离散度大的Fisher准则,并建立可鉴别稀疏模型。为验证所提方法的有效性,在相关视频数据库中将其与多种算法进行对比,实验结果表明,该方法显著地提高了视频特征稀疏表示的鉴别性,有效地提高了视频语义分析的准确性。     

基于压缩感知的视频双水印算法研究

针对数字视频的内容保护与帧内、帧间篡改检测的难题,采用压缩感知理论提取视频的内容特征作为水印,提出一种双水印的视频保护和篡改检测算法。首先,利用压缩感知过程提取I帧宏块的内容特征,生成半脆弱的内容认证水印;然后,对帧序号进行二值运算,生成完整性水印;最后,利用压缩感知信号重构OMP(Orthogonal Matching Pursuit)算法把生成的双水印嵌入到I帧和P帧相应宏块的DCT高频系数的压缩测量值中,以此提高视频水印的抗攻击能力,并实现对视频篡改的检测。仿真实验表明,所提算法对视频帧内篡改具有精确定位到子块的检测能力;同时对帧插入、帧删除、帧交换等类型的视频帧间篡改具有很强的检测能力。     

一种面向动画视频的摘要方法

动画视频摘要是目前热门的动画视频处理和检索技术的重要组成部分.针对动画视频与新闻视频、体育运动视频显著不同的特点,提出了一种适合动画视频的摘要方法.首先通过对动画视频的结构分析得到动画视频的可视特征与层次结构,然后分析动画视频内容的重要度选取视频中的重要片段,最后通过缩略粒度选择,按照时序方式组合得到故事板和缩略视频形式的视频摘要.实验证明,该方法比较有效地获得了动画视频摘要,两种形式的摘要对动画视频能够很好的概括和缩略.