视频摘要技术综述

目的 类似于文本摘要,视频摘要是对视频内容的总结。为了合理地评估视频摘要领域的研究进展,正确导向视频摘要的继续研究,本文归纳总结视频摘要技术的主要研究方法和显著性成果,对视频摘要技术进行综述。方法 依据视频摘要的两个主要生成步骤:视频内容分析和摘要生成分别介绍视频摘要的主要研究方法。同时,分析了近5年视频摘要领域的研究状况,对视频摘要发展的新趋势:实时视频摘要和多视角视频摘要进行了阐述。最后,还对视频摘要的评价系统进行了分类总结。结果 对视频摘要进行综述,对摘要中的语义获取难题提出了2种指导性建议。并依据分析结果,展望了视频摘要技术未来的发展方向。结论 视频摘要技术作为视频内容理解的重要组成部分,有较大研究价值。而目前,视频摘要在视频语义表达和摘要评价系统方面并不精确完善,还需进一步的深入研究。     

基于对象的视频摘要技术

视频摘要技术是当前多媒体领域研究的热点之一。视频摘要生成方法归结为两类:基于关键帧的视频摘要和基于对象的视频摘要;对基于关键帧的视频摘要方法做了简要的介绍,并重点总结了历年来出现的基于对象的视频摘要的生成方法。最后对视频摘要技术的发展做出了总结和展望。     

视频摘要技术研究*

对视频摘要技术进行了研究,将视频摘要按其表现形式分为以标题、关键帧和故事板为代表的静态视频摘要以及以缩略视频为代表的动态视频摘要,并对其中涉及的关键技术进行了探讨,最后对视频摘要技术未来的发展方向进行了总结与展望。     

视频信息索引技术的新发展——视频摘要

视频摘要是对视频内容的一个简短的小结。本文介绍的视频摘要的基本概念、视频摘要的分类,并重点介绍了每一类视频摘要实现的关键技术。最后对目前的视频摘要技术作了小结,并展望了今后的发展方向。     

基于流形学习和混合模型的视频摘要方法

视频摘要是进行视频浏览、视频检索、视频索引等视频应用的前提,而且视频摘要类似于文本的摘要,也是对视频内容的一个简短概括。为了自动获得既包含视频的主要信息,而冗余信息又少的视频摘要,提出了一种基于流形学习和有限混合模型的自动视频摘要方法。该方法通过对视频序列进行流形建模,首先得到视频场景的初次分割;然后对包含内容较多的场景,使用等距降维方法计算视频帧的特征向量;最后将视频帧的特征向量输入到混合模型进行聚类分析,得到更细粒度的摘要结果。为了实现视频摘要的自动处理,所采用的混合模型需要具有模型选择功能。混合模型的聚类结果和流形建模的结果共同构成了视频摘要。视频分割片段的实验结果表明,在不需人为干预的情况下,所提供的视频摘要不仅包含视频主要内容,而且冗余信息少。     

结合局部奖励机制的视频摘要技术研究

视频摘要技术的目的是在缩短视频长度的同时,概括视频的主要内容,这样可以极大地节省人们浏览视频的时间。视频摘要技术的一个关键步骤是评估生成摘要的性能,现有的大多数方法是基于整个视频进行评估。然而,基于整个视频序列进行评估的计算成本很高,特别是对于长视频。而且在整个视频上评估生成摘要往往忽略了视频数据固有的时序关系,导致生成摘要缺乏故事情节的逻辑性。因此,提出了一个关注局部信息的视频摘要网络,称为自注意力和局部奖励视频摘要网络（ALRSN）。确切地说,该模型采用自注意力机制预测视频帧的重要性分数,然后通过重要性分数生成视频摘要。为了评估生成摘要的性能,进一步设计了一个局部奖励函数,同时考虑了视频摘要的局部多样性和局部代表性。该函数将生成摘要映射回原视频,并在局部范围内评估摘要的性能,使其具有原视频的时序结构。通过在局部范围内获得更高的奖励分数,使模型生成更多样化、更具代表性的视频摘要。综合实验表明,在两个基准数据集SumMe和TvSum上,ALRSN模型优于现有方法。     

视频摘要

众所周知 ,文本的摘要是对一篇文章的一个简短的小结 .随着对视频数据处理要求的不断提高 ,出现了类似的概念——视频摘要 ,同时也产生了视频摘要技术 .同文本摘要概念相似 ,视频摘要是对视频的一个简短的小结 .为了使人们对视频摘要有一个概略的了解 ,该文首先阐述了视频摘要的基本概念 ,同时简单介绍了视频摘要的应用 ,并在此基础上对视频摘要进行了分类 ;然后重点介绍了每一类视频摘要的实现技术——关键帧提取技术、多特征融合技术等 ;最后对目前视频摘要技术进行了小结 ,并展望了若干发展途径 .     

一种基于层次分析法的视频摘要评价模型

视频摘要是对视频内容进行浓缩的一项技术,对于快速了解视频内容至关重要。如何对视频摘要的效果进行评价,是值得研究的一个问题。论文基于层次分析法构建了视频摘要评价模型,将视频摘要质量作为最终评价目标,以内容合理性和结构合理性作为准则,以内容完整性、特殊重要性、整体流畅性等作为测度层,从而建立了视频摘要评价指标体系。最后,通过对随机生成、基于特写人脸的摘要生成以及融合视音频特征的摘要生成三种算法对所提评价方法进行了实验验证,表明该方法能够有效反映出视频摘要的质量。     

一种家庭视频摘要生成的新方法

计算机硬件的发展使家用计算机具有处理和存储视频资料的能力，而家用数字摄像设备的普及使家庭视频的数量越来越多，家庭用户对视频摘要技术的需求也越来越强烈。在回顾现有视频摘要相关的概念、分类和技术，以及分析家庭视频的特征基础上，给出了家庭视频摘要的特点，并提出了一个面向家庭视频的视频摘要算法。     

视频信息索引技术的新发展——视频摘要

视频摘要是时视频内容的一个简短的小结。本文介绍的视频摘要的基本概念、视频摘要的分类，并重点介绍了每一类视频摘要实现的关键技术。最后对目前的视频摘要技术作了小结．并展望了今后的发展方向。     

基于“实体-描述-效用”模型的视频摘要技术

为了克服现有视频摘要技术难于适应新的应用环境的问题,本文提出了基于“实体-描述-效用”模型视频摘要技术。该模型利用实体生成描述,然后由描述得到效用函数,最后在效用函数的基础上获取摘要。本文还利用这一模型对新闻视频摘要进行了测试,取得了较好的实验结果。     

自注意力机制的视频摘要模型

针对如何高效地识别出视频中具有代表性的内容问题,提出了一种对不同的视频帧赋予不同重要性的视频摘要算法.首先使用长短期记忆网络来建模视频序列的时序关系,然后利用自注意力机制建模视频中不同帧的重要性程度并提取全局特征,最后通过每一帧回归得到的重要性得分进行采样,并使用强化学习策略优化模型参数.其中,强化学习的动作定义为每一帧选或者不选,状态定义为当前这个视频的选择情况,反馈信号使用多样性和代表性代价.在2个公开数据集SumMe和TVSum中进行视频摘要实验,并使用F-度量来衡量这2个数据集上不同视频摘要算法的准确度,实验结果表明,提出的视频摘要算法结果要优于其他算法.     

一种面向无人机视频的多尺度摘要的设计与实现

无人机视频是利用无人机航拍得到的一类重要的视频资源,被广泛运用于地面目 标的监测。但是,无人机视频的视野辽阔、不具有目标针对性的拍摄特点,使其存在大量时空 冗余,传统的视频交互手段显得十分低效。为此,提出了一种面向无人机视频的多尺度螺旋摘 要。首先,基于 YOLOv3 算法,训练能检测无人机视角的行人、车辆等目标的模型。然后,提 出了基于关键帧的视频目标检测算法,根据改进后的基于颜色特征的关键帧提取算法提取涵盖 视频关键信息的关键帧,并将检测模型应用于关键帧,高效获取整个视频的目标检测结果。之 后,从关键帧中提取相应的关键区域,作为摘要的呈现单元,并以螺旋的形式从内向外地将摘 要单元逐一呈现,辅以基于关键帧的视频定位和尺度缩放功能。最后,开发了草图注释、目标 分布螺旋、双螺旋播放等新颖的交互工具,满足用户的潜在需求,共同实现面向无人机视频的 高效交互。     

基于动画特征的视频 方法*

针对动画视频与新闻视频、体育运动视频的不同特点,提出了一种适合动画视频的 技术。首先通过对动画视频的结构分析得到动画视频的可视特征与层次结构;然后根据动画视频内容的重要度来选取视频中的重要片段;最后通过粒度选择,按照时序方式组合得到故事板和缩略视频形式的视频 。实验表明该方法能有效地获得动画视频 。     

基于视频序列的平面海报生成方法

视频摘要是海量视频浏览的重要手段,现有的方法一般生成短帧视频或多帧序列图像以概括原视频,但它们都受限于原有时间序列,难以高效地表达信息.为此,提出了一种视频海报的自动生成方法来制作更为精练的视频摘要.如何提取视频中的关键画面与如何实现海报自动排版是其中的2个核心问题.对现有的视频关键帧提取方法进行扩展,采用综合视觉关注度模型,提出了基于视觉重要性的关键帧排序算法;在现有排版规则基础上,增加了版面位置对视觉心理感知的影响,设计出位置重要性驱动的视频海报自动排版算法.实验结果证明了文中算法的有效性.     

融合多模态特征与时区检测的视频摘要算法

针对传统视频摘要算法没有充分利用视频的多模态信息、难以确保摘要视频片段时序一致性的问题,提出了一种融合多模态特征与时区检测的视频摘要算法(MTNet)。首先,通过GoogLeNet与VGGish预训练模型提取视频图像与音频的特征表示,设计了一种维度平滑操作对齐两种模态特征,使模型具备全面的表征能力;其次,考虑到生成的视频摘要应具备全局代表性,因此通过单双层自注意力机制结合残差结构分别提取视频图像与音频特征的长范围时序特征,获取模型在时序范围的单一向量表示;最后,通过分离式时区检测与权值共享方法对视频逐个时序片段的摘要边界与重要性进行预测,并通过非极大值抑制来选取关键视频片段生成视频摘要。实验结果表明,在两个标准数据集SumMe与TvSum上,MTNet的表征能力与鲁棒性更强;它的F₁值相较基于无锚框的视频摘要算法DSNet-AF以及基于镜头重要性预测的视频摘要算法VASNet,在两个数据集上分别有所提高。     

基于空时变换网络的视频摘要生成

视频摘要生成是计算机视觉领域必不可少的关键任务,这一任务的目标是通过选择视频内容中信息最丰富的部分来生成一段简洁又完整的视频摘要,从而对视频内容进行总结.所生成的视频摘要通常为一组有代表性的视频帧（如视频关键帧）或按时间顺序将关键视频片段缝合所形成的一个较短的视频.虽然视频摘要生成方法的研究已经取得了相当大的进展,但现有的方法存在缺乏时序信息和特征表示不完备的问题,很容易影响视频摘要的正确性和完整性.为了解决视频摘要生成问题,本文提出一种空时变换网络模型,该模型包括三大模块,分别为：嵌入层、特征变换与融合层、输出层.其中,嵌入层可同时嵌入空间特征和时序特征,特征变换与融合层可实现多模态特征的变换和融合,最后输出层通过分段预测和关键镜头选择完成视频摘要的生成.通过空间特征和时序特征的分别嵌入,以弥补现有模型对时序信息表示的不足;通过多模态特征的变换和融合,以解决特征表示不完备的问题.我们在两个基准数据集上做了充分的实验和分析,验证了我们模型的有效性.     

一种基于局部二值模式的关键帧提取方法

基于旋转不变均衡局部二值模式,提出一种均衡摘要生成速度和摘要信息量的视频摘要算法。首先,使用预采样方法降低视频处理数据量,在此基础之上提取图像的局部二值模式特征;然后对两帧图像相似度进行分析,获取聚类数目。获取聚类数目之后,使用k均值算法对镜头关键帧进行聚类;最后,使用“重要度”函数评测聚类重要度,从“重要”聚类中选取聚类中心最近帧为摘要关键帧。实验结果表明,该算法生成的视频摘要在保证摘要实时性的同时,提高摘要的信息量,较好地表达了视频的内容。