一种基于交互信息量的视频摘要生成方法

提出了一种基于交互信息量的视频摘要生成方法。该方法首先使用基于交互信息量的方法进行视频镜头检测,通过对检测到镜头帧的聚类提取镜头候选关键帧。然后对候选关键帧按照相邻帧间交互信息量的比较来提取镜头关键帧,最后将镜头关键帧按时序排列在一起形成视频摘要。试验表明,这种关键帧提取算法是有效的,其建立的视频摘要能较好的反映原视频的内容。     

姿态估计和跟踪结合的运动视频关键帧提取

提出姿态估计和特定部位跟踪相结合的动作视频关键帧提取算法.首先利用非确定人体部位的时间连续性保持提高基于柔性部件铰接人体模型的单帧图像人体姿态估计准确率,通过实施数据降维得到局部拓扑结构表达能力强的判别性运动特征向量,采用极值判定原理确定候选关键帧集合.然后利用ISODATA动态聚类算法,通过初始聚类中心优化、基于语义的关键帧集合增强等策略确定关键帧.实验表明文中算法具有较高的关键帧提取准确率和召回率,支持基于语义的关键帧提取.提取的视频关键帧可以用于运动视频压缩和批注审阅.     

基于吞噬聚类的关键帧提取新算法

为了有效、自适应地提取镜头中的关键帧,提出了一种基于吞噬聚类的关键帧提取新算法。该算法通过邻近吞噬体的互相吞噬,聚类相似的数据对象,最后所剩吞噬体的吞噬中心即为视频帧的聚类中心,距离聚类中心最近的特征向量所代表的视频帧就是所需要的镜头关键帧。对该算法利用MATLAB仿真并通过与传统算法对比,结果表明,相对于传统算法,该算法的查全率和查准率都有了一定程度的提高。     

基于LLE的视频摘要提取方法研究

为了自动获取主要视频信息且冗余信息较少的视频摘要,本文提出了LLE-自适应FCM和LLE-自适应阈值FCM算法.这两种方法首先利用流形学习算法局部线性嵌入（LLE）提取视频帧的特征向量,然后将得到的特征向量输入到自适应FCM和自适应阈值FCM中,得出分类效果和聚类中心.自适应FCM通过聚类有效性函数来确定分类类别数,而自适应阈值FCM是通过阈值的自动变化来确定分类类别数.最后把离聚类中心最近的视频帧作为视频摘要.实验的结果表明,在不需要人工干预的情况下,所提取的视频摘要既反映了视频的主要内容,而且冗余信息少.     

类模糊C均值聚类的关键帧提取算法

对比现有典型关键帧提取算法存在的缺陷,提出了一种类模糊C均值聚类的关键帧提取算法.该算法预先设定一个最初聚类中心,从而有效地减少了聚类算法的迭代次数;并使用视频帧序列的时序特征来对FCM算法进行限定,提高了聚类效率.实验结果表明,使用该算法提取的关键帧不仅可以充分表达出视频的主要内容,而且还可以根据内容的变化提取出适当数量的关键帧.     

基于层修复技术的DVC鲁棒传输框架

针对分布式视频编码(DVC)系统鲁棒传输问题,设计了一种基于层修复的DVC系统传输框架。该传输框架首先对关键帧(K帧)同时采用高效视频编码(HEVC)帧内编码和Wyner-Ziv编码,并将校验信息(Wyner-Ziv码流)作为修复层码流存入缓存中。若当前关键帧有丢失,则向编码端请求该帧对应的层修复码流,在解码端对错误块进行修复,获得关键帧解码质量的提升。同时,研究了层修复码率估计算法,利用已成功解码的位平面辅助完成算法重建。实验结果表明,该传输框架利用关键帧的层修复码流对关键帧失真部分进行了修复,提高了关键帧质量,改善了边信息质量,实现了DVC的鲁棒传输。     

一种基于聚类的关键帧提取算法

关键帧的提取是视频数据结构化的一部分,在获得关键帧之后就可以进入基于内容的图像检索阶段,实现基于内容的视频检索。本文提出了一种在镜头边界检测之后再进行视频帧聚类的方法来提取关键帧。聚类形成了数据更小的子镜头,最后从子镜头中选择与聚类中心距离最小的一帧作为关键帧。最后,通过仿真实验表明该方法能够快速有效地提取出视频关键帧。     

利用纹理结构的HEVC快速帧内模式选择算法

高性能视频编码（HEVC）是刚确立的最新一代的视频编码标准。对于帧内编码,HEVC最大的特点是采用了从64×64至8×8的编码单元划分和35种帧内预测模式,HEVC通过遍历所有的分块和帧内预测模式,选取最优的预测方式,这种帧内预测方式在提高预测精度的同时也大大增加了编码的计算复杂度。为了降低帧内预测的计算复杂度,HM2.0版以上的HEVC测试软件采用一种基于两步预测的快速帧内模式选择算法。在此基础上本文首先提出了一种基于纹理方向的快速粗选方案,减少参与计算的粗选模式数,进而提出基于结构相关的决策方法,利用同质图像区域的纹理相似性,减少参与率失真代价函数计算的候选模式数量,进一步降低了帧内预测计算复杂度。实验结果表明,本文所提出的快速算法,在保持编码质量基本不变的条件下,可以使基于两步预测的快速帧内模式选择时间缩短25%。      

基于视频序列的图像拼接

为消除视频序列之间的冗余信息,以简单的摘要形式表达视频的主要内容,提出了一种基于视频序列的图像拼接方法。首先,采用改进的帧间聚类算法提取视频的关键帧;其次,利用SIFT算法提取关键帧的特征点,采用最近邻算法进行特征点匹配,通过引导互匹配法和投票过滤法提高匹配精度;再次通过RANSAC鲁棒估计算法得到所选帧间的单映矩阵,并使用LM非线性迭代算法对单映矩阵进行精炼。最后,利用级联单映矩阵结合加权融合算法实现了视频序列的无缝拼接,实验效果较为理想。     

基于邻近值的HEVC帧内预测优化

高性能视频编码(High Efficiency Video Coding,HEVC)标准中的帧内编码模式利用当前帧中像素点之间的空间相关性作出有效预测。为了解决待编码像素远离参考像素时预测不准确的问题,提出了一种基于邻近值的HEVC帧内预测优化算法。该算法的主要思想是,对于当前像素,先根据传统HEVC帧内编码方法得到其预测值,再使用该像素点左边、左上、上边位置的修正值以及该像素本身的预测值对该预测值进行修正。因为将当前像素与周围像素的相关性进行了有效的数学建模,所以HEVC帧内编码性能得到了提升。实验结果显示,所提算法与HEVC标准相比,最高节省了2.7%的码率,平均节省的码率为1.3%。     

基于运动特征的HEVC快速帧间预测编码研究

为了降低高效视频编码(HEVC,high efficiency v ideo coding)的帧间预测复杂度,提出了一种基于运动特征的HEVC快速帧间预测新方 法。首先利用视频相邻帧的时域相关性,通过计算 每个待编码单元(CU)及其子块的帧差离散度(FDD)确定该CU的最佳编码深度d ;再依据该深度下CU的区 域运动特征(RMF_d)将待编码CU划分为3类运动区域,进而确 定该CU的候选帧间预测模式,减少 不必要的帧间预测模式遍历过程。试验结果表明,本算法可以在保证编码性能损失不大的前 提下显著提高编码效率;与标准算法相比,在低延时和随机访问两种编码结构下,同等客观 质量下码率(BDBR)分别增加0.89% 和0.83%,同时节省了51.6%和48.5%的编码时间。     

Video key frame extraction through dynamic Delaunay clustering with a structural constraint

Key frame based video summarization has emerged as an important area of research for the multimedia community. Video key frames enable an user to access any video in a friendly and meaningful way. In this paper, we propose an automated method of video key frame extraction using dynamic Delaunay graph clustering via an iterative edge pruning strategy. A structural constraint in form of a lower limit on the deviation ratio of the graph vertices further improves the video summary. We also employ an information-theoretic pre-sampling where significant valleys in the mutual information profile of the successive frames in a video are used to capture more informative frames. Various video key frame visualization techniques for efficient video browsing and navigation purposes are incorporated. A comprehensive evaluation on 100 videos from the Open Video and YouTube databases using both objective and subjective measures demonstrate the superiority of our key frame extraction method.     

Key-frame selection for video summarization: an approach of multidimensional time series analysis

This paper presents a novel method of key-frame selection for video summarization based on multidimensional time series analysis. In the proposed scheme, the given video is first segmented into a set of sequential clips containing a number of similar frames. Then the key frames are selected by a clustering procedure as the frames closest to the cluster centres in each resulting video clip. The proposed algorithm is implemented experimentally on a wide range of testing data, and compared with state-of-the-art approaches in the literature, which demonstrates excellent performance and outperforms existing methods on frame selection in terms of fidelity-based metric and subjective perception.     

基于压缩感知和熵计算的关键帧提取算法

针对关键帧提取问题,提出了一种基于压缩感知理 论和熵计算的关键帧提取算法, 首先通过构造符合有限等距性质要求的稀疏随机投影矩阵,将高维多尺度帧图像特征变换为 低维多尺度帧图像特征, 并形成视频镜头低维多尺度特征列向量组;然后通过随机权值向量与低维多尺度特征向量的 阿达玛乘积运算生成各 帧图像的匹配特征,并根据匹配特征的相似性度量完成镜头内部的子镜头分割;最后通过交 叉熵计算在每个子镜头 中得到可能的关键帧,并由图像熵计算确定最终的关键帧。实验表明,与传统方法相比,本 文算法提取的关键帧能够更精确、更稳定描述视频镜头内容。     

基于快速编码单元划分和自适应模式决策的HEVC效率改进算法

为提高HEVC在实时视频中的编码效率,文中提出了基于快速编码单元划分和自适应模式决策的HEVC效率改进算法。通过利用上边和左边相邻编码单元的分离深度信息,确定当前编码单元能否提早分离或提早结束。当不满足该条件时,利用训练帧在线学习确定率失真代价阀值使编码单元可以尽早结束其四叉树分离。通过最小的率失真代价模式和第二小的率失真代价模式减少候选集的数量并确定候选集CS₅。然后最优化CS₅以减少候选率失真优化数量,最后进行率失真优化计算选择最优模式,达到减少预测模式数量的目的。实验结果证实,与HM标准测试结果相比,文中算法在保证编码质量的前提下可降低45.93%的视频编码时间,仅伴有0.597 8%的BDBR上升。     

Key frame extraction based on visual attention model

Key frame extraction is an important technique in video summarization, browsing, searching and understanding. In this paper, we propose a novel approach to extract the most attractive key frames by using a saliency-based visual attention model that bridges the gap between semantic interpretation of the video and low-level features. First, dynamic and static conspicuity maps are constructed based on motion, color and texture features. Then, by introducing suppression factor and motion priority schemes, the conspicuity maps are fused into a saliency map that includes only true attention regions to produce attention curve. Finally, after time-constraint cluster algorithm grouping frames with similar content, the frames with maximum saliency value are selected as key-frames. Experimental results demonstrate the effectiveness of our approach for video summarization by retrieving the meaningful key frames.     

基于深层特征学习的高效率视频编码中帧内快速预测算法

高效视频编码(HEVC)标准相对于H.264/AVC标准提升了压缩效率,但由于引入的编码单元四叉树划分结构也使得编码复杂度大幅度提升。对此,该文提出一种针对HEVC帧内编码模式下编码单元(CU)划分表征矢量预测的多层特征传递卷积神经网络(MLFT-CNN),大幅度降低了视频编码复杂度。首先,提出融合CU划分结构信息的降分辨率特征提取模块;其次,改进通道注意力机制以提升特征的纹理表达性能;再次,设计特征传递机制,用高深度编码单元划分特征指导低深度编码单元的划分;最后建立分段特征表示的目标损失函数,训练端到端的CU划分表征矢量预测网络。实验结果表明,在不影响视频编码质量的前提下,该文所提算法有效地降低了HEVC的编码复杂度,与标准方法相比,编码复杂度平均下降了70.96%。     

Multiview video summarization using video partitioning and clustering

Multiview video summarization plays a crucial role in abstracting essential information form multiple videos of the same location and time. In this paper, we propose a new approach for the multiview summarization. The proposed approach uses the BIRCH clustering algorithm for the first time on the initial set of frames to get rid of the static and redundant. The work presents a new approach for shot boundary detection using frame similarity measures Jaccard and Dice. The algorithm performs effectively synchronized merging of keyframes from all camera-views to obtain the final summary. Extensive experimentation conducted on various datasets suggests that the proposed approach significantly outperforms most of the existing video summarization approaches. To state a few, a 1.5% improvement on video length reduction, 24.28% improvement in compression ratio, and 6.4% improvement in quality assessment ratio is observed on the lobby dataset.     

级联手工特征与深度特征的视频关键帧检测方法

关键帧检测是有效的视频内容分析的关键环节。常用的基于手工特征的方法运行效率高但很难有效表征关键帧特征,因而性能不好。基于深度特征的方法因为网络结构复杂,导致效率不高。在体育比赛类视频中,关键帧常为比赛转播中镜头变化的最后一帧。但广播视频中除了包含比赛视频还包括很多其他类型的镜头如中场休息、渐变镜头等。因此检测最后一帧包含很多比赛无关内容。针对这一问题,本文提出了一种手工特征与深度特征相结合的视频关键帧检测方法。首先基于颜色直方图特征进行镜头边界检测获取最后一帧。进一步基于直方图相似性提出一种类似聚类的方法得到候选关键帧。最后,基于深度神经网络对候选关键帧进行分类,得到真正的关键帧。在冰壶比赛视频和篮球比赛视频上的对比实验结果表明,相对于传统的背景差分法、光流法等,本文提出方法能够快速、可靠地提取关键帧。