基于关键帧的视频摘要生成方法

视频摘要是视频内容的一种压缩表示方式,视频摘要的使用大大减少了视频索引的数据量,同时也为视频检索提供了帮助, 因此对视频摘要的研究已成为视频应用领域十分活跃的课题.为了能够更好地浏览视频.该文提出了一种新的基于关键帧的视频摘要生成算法,该算法首先通过检测镜头,然后用基于主成分分析法自适应的提取镜头关键帧,最后将镜头关键帧按时序排列在一起组成视频摘要.试验表明,该算法建立的视频摘要能较好地反映原视频的内容.     

一种基于螺旋摘要的监控视频可视分析系统

监控视频是安防系统的重要组成部分。在如今的各行各业中,只要涉及到安全,均 离不开监控视频。但对监控视频内容的分析主要依靠大量人工来完成,人力和时间成本巨大。随 着监控视频数据越来越多,如何提高针对视频内容的分析效率、降低用户认知负荷是拓展视频利 用率的重要方面。为此,针对监控视频存在的冗余信息较多、人工获取视频关键内容效率低的问 题,采用螺旋视频摘要及相应交互技术,开发了一种面向监控视频内容的可视分析系统,结合运 动目标检测结果数据,基于螺旋摘要的展示优势实现多角度可视化视频目标统计信息,并辅以针 对螺旋摘要的导航、定位操作以及草图交互等方式,实现对监控视频内容的快速有效获取。     

基于关键帧的视频摘要研究

提出基于Directshow组件结构实时提取各类音视频特征的方法,并综合利用这些特征,通过对常用的视频关键帧提取算法进行分析比较,提出了基于FCNN模型的自适应关键帧提取方法,该方法可以适应于各种视频类型。以关键帧为基础,提出利用插值算法建立视频摘要的方法。最后以新闻视频为例,给出了基于内容的新闻视频摘要系统（KBVA-1）。     

基于视频序列的平面海报生成方法

视频摘要是海量视频浏览的重要手段,现有的方法一般生成短帧视频或多帧序列图像以概括原视频,但它们都受限于原有时间序列,难以高效地表达信息.为此,提出了一种视频海报的自动生成方法来制作更为精练的视频摘要.如何提取视频中的关键画面与如何实现海报自动排版是其中的2个核心问题.对现有的视频关键帧提取方法进行扩展,采用综合视觉关注度模型,提出了基于视觉重要性的关键帧排序算法;在现有排版规则基础上,增加了版面位置对视觉心理感知的影响,设计出位置重要性驱动的视频海报自动排版算法.实验结果证明了文中算法的有效性.     

融合检测与跟踪的半自动视频目标标注

针对视频图像连续帧间的目标具有冗余性,采用手动标注方式耗时耗力的问题,提出一种融合检测和跟踪算法的视频目标半自动标注框架。利用手动标注的样本离线训练改进YOLO v3模型,并将该检测模型作为在线标注的检测器。在线标注时在初始帧手动确定目标位置和标签,在后续帧根据检测框与跟踪框的IOU（Intersection-Over-Union）值自动确定目标的位置,并利用跟踪器的响应输出判断目标消失,从而自动停止当前目标标注。采用一种基于目标显著性的关键帧提取算法选择关键帧。采用自建舰船目标数据集进行了改进YOLO v3检测性能对比实验,并采用舰船视频序列验证了提出的视频目标半自动标注方法的有效性。实验结果表明,该方法可以显著提高标注效率,能够快速生成标注数据,适用于海上舰船等场景的视频目标标注任务。     

自然保护区海量视频数据快速分析与检索

近年来,随着视频监控系统在自然保护区的大量部署,如何有效利用日益增加的海量视频监控数据成为亟待解决的难题.通过基于图像相似度的关键帧提取算法对海量视频数据进行清洗和压缩,同时利用基于深度学习的目标检测算法提取关键帧中的有效视频信息,并提供多种基于内容的视频检索方式,自动对用户提交的检索内容进行分析与处理,从而快速检索出感兴趣的视频.通过对青海湖野生动物视频监控数据进行分析与检索,验证了该系统的有效性.     

基于运动信息与多尺度分水岭的视频目标分割

从视频序列中提取视频目标是基于内容编码中的一项关键技术。提出了将高阶统计运动检测和多尺度分水岭相结合的视频目标分割算法。该算法首先利用高阶统计运动检测算法检测出运动区域,通过后处理得到运动目标的初始模板。然后,用小波变换对视频图像进行多分辨率分解。在最低分辨率上应用分水岭算法分割得到具有精确边缘的分割区域,通过将区域融合后的区域逐步投影到高分辨率图像上并结合高分辨率图像上的分水岭算法逐步提取出具有精确边缘的区域。最后,将运动目标的初始模板和多尺度分水岭分割得到的区域结合起来提取出具有精确边缘的视频对象。实验结果表明该算法能有效地分割和提取出视频序列中的视频对象。     

基于颜色特征的视频数据库检索系统

为了在视频数据库中提供有效的视频检索和浏览功能,必须建立高效的索引.由于视频数据具有层次性的结构,在镜头边界检测后,可以利用聚类方法按不同的相似性尺度对镜头关键帧进行处理,对视频数据建立索引.该系统采用颜色特征,使用Twin Comparison算法实现镜头检测和直方图平均法实现关键帧提取,对关键帧采用K均值聚类算法处理,建立视频数据库索引.实验结果表明该系统能较好地实现视频快速浏览和检索功能.     

基于局部注意的快速视频目标检测方法

视频目标检测是对视频内的目标进行准确分类与定位。现有基于深度学习的视频目标检测方法通过光流传播特征,不仅存在模型参数量大的问题,而且直接将光流应用于高层特征难以建立准确的空间对应关系。提出一种轻量级的视频目标检测方法。通过设计一种特征传播模型,在不同帧的局部区域内将高层特征从关键帧传播到非关键帧,并将有限的计算资源分配给关键帧,以加快检测速度。构建动态分配关键帧模块,根据目标运动速度动态地调整关键帧选择间隔,以减少计算量并提高检测精度。在此基础上,为进一步降低最大延迟,提出异步检测模式,使得特征传播模型和关键帧选择模块协同工作。实验结果表明,该方法的检测速度和最大延迟分别为31.8 frame/s和31 ms,与基于内存增强的全局-局部聚合方法相比,其在保证检测精度的前提下,具有较快的检测速度,并且实现实时在线的视频目标检测。     

基于运动目标特征的关键帧提取算法

针对运动类视频特征不易提取且其关键帧结果中易产生较多漏检帧的问题,提出基于运动目标特征的关键帧提取算法。该算法在强调运动目标特征的同时弱化背景特征,从而防止由于运动目标过小而背景占据视频画面主要内容所导致的漏检和冗余现象。根据视频帧熵值将颜色变化明显的帧作为部分关键帧,对颜色未发生突变的帧根据运动物体的尺度不变特征变换（SIFT）获得帧内运动目标的特征点;最后分别根据帧熵值及运动物体SIFT点分布提取视频关键帧。实验表明该算法所得关键帧结果集不仅漏检率较低且能够准确地表达原视频内容。     

基于目标分割和融合的快速视频浏览算法

针对稀疏对象的监控视频的快速浏览,提出了一种基于目标分割和融合的快速视频浏览的方法.首先,利用背景差分法得到前景目标,并对背景模型不断更新;然后,滤除无目标出现的视频帧,并以一定的密度对目标对象进行融合播放.实验结果表明,该方法鲁棒性好,能取得较好的效果.     

基于Adaboost和码本模型的手扶电梯出入口视频监控方法

针对传统视频监控方法无法对密集前景目标进行准确分割的问题,提出一种基于Adaboost和码本模型的多目标视频监控方法。首先,通过训练得到Adaboost人头分类器,利用码本算法为垂直拍摄的手扶电梯出入口图像建立背景模型,提取前景图像对其进行人头检测和跟踪;之后,剔除行人目标得到物件目标,对物件目标进行跟踪;最后,根据行人和物件的运动特征进行监控。对12段出入口视频序列的实验结果表明,监控方法能够准确稳定地跟踪行人和物件,完成逆行检测、客流统计、行人拥堵和物件滞留等监控任务,处理速度达到36帧/秒,目标跟踪准确率达到94%以上,行为监控准确率达到95.8%,满足智能视频监控系统鲁棒性、实时性和准确性的要求。     

自注意力机制的视频摘要模型

针对如何高效地识别出视频中具有代表性的内容问题,提出了一种对不同的视频帧赋予不同重要性的视频摘要算法.首先使用长短期记忆网络来建模视频序列的时序关系,然后利用自注意力机制建模视频中不同帧的重要性程度并提取全局特征,最后通过每一帧回归得到的重要性得分进行采样,并使用强化学习策略优化模型参数.其中,强化学习的动作定义为每一帧选或者不选,状态定义为当前这个视频的选择情况,反馈信号使用多样性和代表性代价.在2个公开数据集SumMe和TVSum中进行视频摘要实验,并使用F-度量来衡量这2个数据集上不同视频摘要算法的准确度,实验结果表明,提出的视频摘要算法结果要优于其他算法.     

动态云台摄像机无人机检测与跟踪算法

为应对小型无人机的黑飞、滥飞对个人隐私、公共安全造成的威胁,本文采用高清云台摄像机定点巡航的方式对近地动态复杂背景中的无人机进行检测与跟踪,并提出了一种适用于动态云台摄像机的闭环无人机检测与跟踪算法,包含检测与跟踪两种模式。在检测模式下,本文设计了一种基于运动背景补偿的运动目标检测算法来提取分类候选区域,然后利用基于神经网络结构搜索得到的轻量级卷积神经网络对候选区域进行分类识别,可在不缩小高清视频图像的条件下实现无人机检测;在跟踪模式下,本文提出了一种结合卡尔曼滤波的局部搜索区域重定位策略改进了核相关滤波跟踪算法,使之在高清云台伺服追踪过程中仍能对目标进行快速稳定的跟踪;为将检测模式与跟踪模式结合在闭环框架中,本文还提出了一种基于检测概率和跟踪响应图状态的自适应检测与跟踪切换机制。实验表明,本文算法可应用于定点巡航状态的高清云台摄像机,实现近地复杂动态背景中无人机的实时准确检测、识别与快速跟踪。     

A two-level queueing system for interactive browsing and searching of video content

This paper presents a two-level queueing system for dynamic summarization and interactive searching of video content. Video frames enter the queueing system; some insignificant and redundant frames are removed; the remaining frames are pulled out of the system as top-level key frames. Using an energy-minimization method, the first queue removes the video frames that constitute the gradual transitions of video shots. The second queue measures the content similarity of video frames and reduces redundant frames. In the queueing system, all key frames are linked in a directed-graph index structure, allowing video content to be accessed at any level-of-detail. Furthermore, this graph-based index structure enables interactive video content exploration, and the system is able to retrieve the video key frames that complement the video content already viewed by users. Experimental results on four full-length videos show that our queueing system performs much better than two existing methods on video key frame selection at different compression ratios. The evaluation on video content search shows that our interactive system is more effective than other systems on eight video searching tasks. Compared with the regular media player, our system reduces the average content searching time by half.     

Dynamic video summarization using two-level redundancy detection

The mushroom growth of video information, consequently, necessitates the progress of content-based video analysis techniques. Video summarization, aiming to provide a short video summary of the original video document, has drawn much attention these years. In this paper, we propose an algorithm for video summarization with a two-level redundancy detection procedure. By video segmentation and cast indexing, the algorithm first constructs story boards to let users know main scenes and cast (when this is a video with cast) in the video. Then it removes redundant video content using hierarchical agglomerative clustering in the key frame level. The impact factors of scenes and key frames are defined, and parts of key frames are selected to generate the initial video summary. Finally, a repetitive frame segment detection procedure is designed to remove redundant information in the initial video summary. Results of experimental applications on TV series, movies and cartoons are given to illustrate the proposed algorithm.

基于背景重构的运动目标检测算法研究与应用

对视频序列中的运动目标检测方法进行了研究,提出了一种基于背景重构的运动目标检测算法。通过自学习方法建立视频图像的高斯模型,构造初始背景图像;运用差分算法,得到运动目标,并对背景图像进行了重构、更新,得到实时背景图像。该方法在有运动目标存在的情况下进行实时建模,实用价值高。     

基于时域统计变化检测实时分割头肩视频序列

分析了头肩视频序列的特点，提出了基于时域统计变化检测、利用多帧运动信息实时分割视频对象的方法。先选取包括当前帧在内的前连续2N帧图像，将奇数帧与偶数帧图像作差值，形成长度为Ⅳ的帧差图像序列；对每个象素点时域上的Ⅳ个帧差样本值进行分布显著性检验，判断象素点是否发生了变化；对得到的二值图像进行形态学处理，得到完整的分割结果。试验结果表明，该算法能够自动实时的分割视频对象。