一种草图形式的视频摘要生成方法

视频摘要作为一种视频内容的简要表示,能够有效地增强用户浏览和组织视频的效率。提出了一种基于草图的视频摘要生成方法。与以往的静态视频摘要方法不同,该方法结合视频内容分析,利用草图在表达上的简洁性和抽象性,对视频中的主要内容进行表达。首先通过视频分析获取视频中的语义特征并提取关键帧,然后通过交互式的方法从关键帧中生成草图,最后进行摘要布局生成完整的视频摘要。实验结果表明,该方法能够有效突出视频的主要对象和主要事件,并具有较高的用户满意度。     

对象和关键帧相结合的监控视频摘要提取方法

参考了基于对象和基于关键帧的视频摘要技术,阐述了一种基于对象的视频摘要技术的主要方法流程,并在传统基于对象方法的基础上融入了改进的关键帧提取方法,以单个运动对象为目标进行视频空间上的压缩,通过实验验证,在不遗漏关键信息的前提下大幅度地减少了视频冗余信息,使用户可以在短时间内更加快速便捷地阅读视频监控内容,找出有用信息。同时提出了一种更为合理的视频摘要合成流程,为视频摘要领域的深入研究提供一定的参考。     

一种层次视频摘要生成方法

视频摘要是视频内容的一种压缩表示方式。为了能够更好地浏览视频，提出了一种根据浏览或检索的粒度不同来建立两种层次视频摘要(镜头级和场景级)的思想，并给出了一种视频摘要生成方法：首先用一种根据内容变化自动提取镜头内关键帧的方法来实现关键帧的提取；继而用一种改进的时间自适应算法通过镜头的组合来得到场景；最后在场景级用最小生成树方法提取代表帧。由于关键帧和代表帧分别代表了它们所在镜头和场景的主要内容，因此它们的序列就构成了视频总结。一些电影视频片段检验的实验结果表明，这种生成方法能够较好地提供粗细两种粒度的视频内容总结。     

基于仿射传播聚类的视频关键帧提取方法

关键帧提取是基于内容的视频摘要生成中的一个重要技术.首次引入仿射传播聚类方法来提取视频关键帧.该方法结合两个连续图像帧的颜色直方图交,通过消息传递,实现数据点的自动聚类.并与k means和SVC(support vector clustering)算法的关键帧提取方法进行了比较.实验结果表明,AP(Affinity Propagation)聚类的关键帧提取速度快,准确性高,生成的视频摘要具有良好的压缩率和内容涵盖率.     

基于局部-空间模型的视频摘要研究与设计

介绍视频摘要技术以及缩略视频的3类研究方法,提出一种基于局部-空间模型的视频摘要研究方法.通过对视频序列的帧内与帧间信息的分析得到关键帧,对提取出的关键帧进行双线性插值形成视频段,运用DirectShow开发软件的DES对视频段编辑融合成最终的动态视频摘要.实验结果表明,在不需要人工干预的情况下,自动生成的视频摘要不仅...     

基于向量空间模型的视频语义相关内容挖掘

对海量视频数据库中所蕴涵的语义相关内容进行挖掘分析，是视频摘要生成方法面临的难题。该文提出了一种基于向量空间模型的视频语义相关内容挖掘方法：对新闻视频进行预处理，将视频转化为向量形式的数据集，采用主题关键帧提取算法对视频聚类内容进行挖掘，保留蕴涵场景独特信息的关键帧，去除视频中冗余的内容，这些主题关键帧按原有的时间顺序排列生成视频的摘要。实验结果表明，使用该视频语义相关内容挖掘的算法生成的新闻视频具有良好的压缩率和内容涵盖率。     

基于关键帧的视频摘要生成方法

视频摘要是视频内容的一种压缩表示方式,视频摘要的使用大大减少了视频索引的数据量,同时也为视频检索提供了帮助, 因此对视频摘要的研究已成为视频应用领域十分活跃的课题.为了能够更好地浏览视频.该文提出了一种新的基于关键帧的视频摘要生成算法,该算法首先通过检测镜头,然后用基于主成分分析法自适应的提取镜头关键帧,最后将镜头关键帧按时序排列在一起组成视频摘要.试验表明,该算法建立的视频摘要能较好地反映原视频的内容.     

一种基于视频聚类的关键帧提取方法

关键帧提取技术是视频分析和基于内容的视频检索的基础。关键帧的使用大大减少了视频索引的数据量，同时也为视频摘要和检索提供了一个组织框架。该文简单介绍了目前的关键帧提取技术，提出了一种基于聚类利用颜色直方图提取关键帧的方法来克服其它方法的不足。实验证明该方法计算量小，可以较好地代表视频内容。     

视频摘要技术研究*

对视频摘要技术进行了研究,将视频摘要按其表现形式分为以标题、关键帧和故事板为代表的静态视频摘要以及以缩略视频为代表的动态视频摘要,并对其中涉及的关键技术进行了探讨,最后对视频摘要技术未来的发展方向进行了总结与展望。     

基于关键帧的视频摘要研究

提出基于Directshow组件结构实时提取各类音视频特征的方法,并综合利用这些特征,通过对常用的视频关键帧提取算法进行分析比较,提出了基于FCNN模型的自适应关键帧提取方法,该方法可以适应于各种视频类型。以关键帧为基础,提出利用插值算法建立视频摘要的方法。最后以新闻视频为例,给出了基于内容的新闻视频摘要系统（KBVA-1）。     

基于运动目标轨迹优化的监控视频浓缩方法

视频浓缩是包含原视频有效信息的简短表示,以便于视频的存储、浏览和检索。然而,大部分视频浓缩方法得到的浓缩视频中会丢失少量目标,不能完整表达原始视频的全部内容。本文介绍了一种基于目标轨迹优化的视频浓缩方法。首先使用改进的目标轨迹提取算法提取原视频中目标的 轨迹,然后利用马尔可夫随机场模型和松弛线性规划算法得到每条轨迹的最优时间标签,将其与背景序列和目标轨迹结合生成浓缩视频。实验结果表明,与传统的视频浓缩方法相比,本文方法生成的浓缩视频具有较高的浓缩比,保证了信息的完整性又具有良好的视觉效果。     

基于排序学习的视频摘要

视频数据的急剧增加,给视频的浏览、存储、检索等应用带来一系列问题和挑战,视频摘要正是解决此类问题的一个有效途径。针对现有视频摘要算法基于约束和经验设置构造目标函数,并对帧集合进行打分带来的不确定和复杂度高等问题,提出一个基于排序学习的视频摘要生成方法。该方法把视频摘要的提取等价为视频帧对视频内容表示的相关度排序问题,利用训练集学习排序函数,使得排序靠前的是与视频相关度高的帧,用学到的排序函数对帧打分,根据分数高低选择关键帧作为视频摘要。另外,与现有方法相比,该方法是对帧而非帧集合打分,计算复杂度显著降低。通过在TVSum50数据集上测试,实验结果证实了该方法的有效性。     

一种基于层次分析法的视频摘要评价模型

视频摘要是对视频内容进行浓缩的一项技术,对于快速了解视频内容至关重要。如何对视频摘要的效果进行评价,是值得研究的一个问题。论文基于层次分析法构建了视频摘要评价模型,将视频摘要质量作为最终评价目标,以内容合理性和结构合理性作为准则,以内容完整性、特殊重要性、整体流畅性等作为测度层,从而建立了视频摘要评价指标体系。最后,通过对随机生成、基于特写人脸的摘要生成以及融合视音频特征的摘要生成三种算法对所提评价方法进行了实验验证,表明该方法能够有效反映出视频摘要的质量。     

视频摘要的现状和研究进展*

首先概述了视频摘要的概念和分类、视频摘要生成方法及视频摘要模型的建立,综述了国内外视频摘要系统。最后探讨了视频摘要的性能评估、存在问题和发展方向。     

一种基于局部二值模式的关键帧提取方法

基于旋转不变均衡局部二值模式,提出一种均衡摘要生成速度和摘要信息量的视频摘要算法。首先,使用预采样方法降低视频处理数据量,在此基础之上提取图像的局部二值模式特征;然后对两帧图像相似度进行分析,获取聚类数目。获取聚类数目之后,使用k均值算法对镜头关键帧进行聚类;最后,使用“重要度”函数评测聚类重要度,从“重要”聚类中选取聚类中心最近帧为摘要关键帧。实验结果表明,该算法生成的视频摘要在保证摘要实时性的同时,提高摘要的信息量,较好地表达了视频的内容。     

自注意力机制和随机森林回归的视频摘要生成

视频摘要是通过生成关键帧或片段来达到压缩视频的效果,能够在概括视频主要内容的基础上极大缩短观看时间,在视频快速浏览与检索领域应用广泛。现有方法大多只基于图像内容进行探索,忽略了视频具有时序的特点,且模型对波动数据学习能力较差,导致生成的摘要缺乏时间连贯性和代表性。提出了一个以编码器-解码器为框架的视频摘要网络。具体来说,编码部分由卷积神经网络提取特征,通过自注意力机制提升对关键特征的权重,而解码部分由融合了随机森林的双向长短期记忆网络构成,通过调整随机森林和双向长短期记忆网络在损失函数中所占比例,使模型具有较强的稳定性和预测准确率。实验在两个数据集上与其他七种方法进行了比较,综合实验结果证明了方法的有效性与可行性。提出了自注意力机制和随机森林回归的视频摘要网络,利用自注意力机制完成对特征的优化,将双向长短期记忆网络与随机森林结合,提升模型的稳定性与泛化性,有效降低损失值,使得生成的视频摘要更符合用户视觉特性。     

自注意力机制的视频摘要模型

针对如何高效地识别出视频中具有代表性的内容问题,提出了一种对不同的视频帧赋予不同重要性的视频摘要算法.首先使用长短期记忆网络来建模视频序列的时序关系,然后利用自注意力机制建模视频中不同帧的重要性程度并提取全局特征,最后通过每一帧回归得到的重要性得分进行采样,并使用强化学习策略优化模型参数.其中,强化学习的动作定义为每一帧选或者不选,状态定义为当前这个视频的选择情况,反馈信号使用多样性和代表性代价.在2个公开数据集SumMe和TVSum中进行视频摘要实验,并使用F-度量来衡量这2个数据集上不同视频摘要算法的准确度,实验结果表明,提出的视频摘要算法结果要优于其他算法.     

融合视音频特征的影片摘要生成方法

提出了融合视音频特征的影片摘要生成算法。以特写人脸检测、紧张、激烈镜头检测作为选取重要视频片段的依据。针对影片语音端点难以检测的问题,利用影片字幕文件提取影片语音首尾时间以及语音内容,从而实现了影片语音端点的准确检测。实验证明,该方法生成的影片摘要具有较好的有效性。     

基于“实体-描述-效用”模型的视频摘要技术

为了克服现有视频摘要技术难于适应新的应用环境的问题,本文提出了基于“实体-描述-效用”模型视频摘要技术。该模型利用实体生成描述,然后由描述得到效用函数,最后在效用函数的基础上获取摘要。本文还利用这一模型对新闻视频摘要进行了测试,取得了较好的实验结果。     

基于事务序列的视频摘要挖掘方法研究

提出了一种基于事务序列的关联挖掘方法实现对足球视频的摘要挖掘。处理过程分为视频数据预处理、视频属性提取和视频摘要挖掘等三个步骤。视频数据预处理阶段将原始视频流切分成物理镜头。视频属性提取阶段先将物理镜头分成五种类型,将视频转换成镜头标识序列,以事务为单位对标识序列进行切分形成事务序列,构造一种关系数据库来存储这些事物序列数据。在视频摘要挖掘阶段,采用传统的Apriori算法对事务数据库进行关联挖掘获得关联模式,以挖掘出的关联模式为依据形成视频摘要。实验结果表明,挖掘精彩事件的查全率和查准率较高,具有实用价值。