基于压缩传感和EMD距离的视频镜头关键帧提取

关键帧提取是视频内容分析与检索技术的核心问题。提出一种基于压缩传感和EMD距离的关键帧提取方法,首先构造一个符合有限等距性质的稀疏矩阵,将帧高维特征投影到低维空间,然后通过计算帧低维特征之间的调节余弦相似度完成子镜头分割。在各子镜头中,利用EMD距离计算帧与子镜头中心的差异,并选择差异最小值所对应的帧作为该子镜头的关键帧。实验结果表明,该方法提取的关键帧能够对视频内容进行准确的描述。     

一种基于聚类的关键帧提取算法

关键帧的提取是视频数据结构化的一部分,在获得关键帧之后就可以进入基于内容的图像检索阶段,实现基于内容的视频检索。本文提出了一种在镜头边界检测之后再进行视频帧聚类的方法来提取关键帧。聚类形成了数据更小的子镜头,最后从子镜头中选择与聚类中心距离最小的一帧作为关键帧。最后,通过仿真实验表明该方法能够快速有效地提取出视频关键帧。     

基于组合相似性的视频检索

该文研究基于镜头的视频检索问题,提出了一种新的基于组合相似性的镜头相似性度量方法。首先把镜头看成由帧序列组成的一个组合,镜头的相似性通过帧组合的相似性来度量。其次通过用一个非线性映射,把帧组合所在的空间映射到一个高维空间,在这个空间中,假设帧组合服从正态分布,利用核方法,抽取出关键帧序列,并计算出两个正态分布之间的概率距离,这个距离表明了帧组合的相似程度,从而得到两个镜头之间的相似性。最后将这种方法应用于基于镜头的视频检索中,实验表明在相同条件下,基于该方法的检索效果明显优于传统的欧式距离和直方图交方法。     

基于吞噬聚类的关键帧提取新算法

为了有效、自适应地提取镜头中的关键帧,提出了一种基于吞噬聚类的关键帧提取新算法。该算法通过邻近吞噬体的互相吞噬,聚类相似的数据对象,最后所剩吞噬体的吞噬中心即为视频帧的聚类中心,距离聚类中心最近的特征向量所代表的视频帧就是所需要的镜头关键帧。对该算法利用MATLAB仿真并通过与传统算法对比,结果表明,相对于传统算法,该算法的查全率和查准率都有了一定程度的提高。     

基于压缩感知和熵计算的关键帧提取算法

针对关键帧提取问题,提出了一种基于压缩感知理 论和熵计算的关键帧提取算法, 首先通过构造符合有限等距性质要求的稀疏随机投影矩阵,将高维多尺度帧图像特征变换为 低维多尺度帧图像特征, 并形成视频镜头低维多尺度特征列向量组;然后通过随机权值向量与低维多尺度特征向量的 阿达玛乘积运算生成各 帧图像的匹配特征,并根据匹配特征的相似性度量完成镜头内部的子镜头分割;最后通过交 叉熵计算在每个子镜头 中得到可能的关键帧,并由图像熵计算确定最终的关键帧。实验表明,与传统方法相比,本 文算法提取的关键帧能够更精确、更稳定描述视频镜头内容。     

一种基于交互信息量的视频摘要生成方法

提出了一种基于交互信息量的视频摘要生成方法。该方法首先使用基于交互信息量的方法进行视频镜头检测,通过对检测到镜头帧的聚类提取镜头候选关键帧。然后对候选关键帧按照相邻帧间交互信息量的比较来提取镜头关键帧,最后将镜头关键帧按时序排列在一起形成视频摘要。试验表明,这种关键帧提取算法是有效的,其建立的视频摘要能较好的反映原视频的内容。     

基于帧间似然比的关键帧提取算法

借助基于内容分析的关键帧提取算法的基本思路，提出了一种基于帧间似然比的关键帧提取算法，算法利用Y、Cb、Cr3个颜色分量的均值和方差作为图像帧的特征参数，有效地描述了帧间相似性，对镜头突变和渐变有较强的鲁棒性，实验表明该方法能较好地提取出视频序列的关键帧。     

一种基于自适应关键帧的视频序列拼接方法

由于视频帧数量较大,视频序列拼接时容易造成拼接误差大、耗时较多,为有效解决此问题,提出一种基于自适应关键帧的视频序列拼接方法。将固定间隔采样帧作为关键帧并对其进行特征点提取,利用特征点匹配结合RANSAC鲁棒估计算法得到关键帧间单映矩阵,依此计算关键帧间重叠区域,按照重叠区域比例结合折半排序方法重新定位关键帧,将此关键帧作为基准帧,重复帧采样、重叠区域确定、定位后续所需关键帧过程,直至关键帧提取完毕,最后,利用级联单映矩阵和加权融合实现视频序列无缝拼接。实验验证了该方法的有效性。     

基于综合特征分析的视频关键帧检索

综合利用了图像的颜色、形状和纹理特征,实现了对视频关键帧进行基于内容的检索。首先研究关键帧的选取、特征匹配等问题,再从视频处理的层次化结构的底层分析入手,构建了视频的连续帧图像序列,运用时间自适应检测法对镜头的关键帧进行了选取,建立了关键帧图像数据库。实验结果证明该方法性能良好。     

基于聚类的视频镜头分割和关键帧提取

镜头分割是基于内容的视频检索和浏览首先要解决的关键技术。视频分割为镜头后,下一步的工作就是进行关键帧提取,用以描述镜头的主要内容。提出了一种改进的基于聚类的镜头分割和关键帧提取算法．在无监督聚类中引入一个参考变量,解决了利用无监督聚类进行镜头分割和关键帧提取时可能产生的帧序不连续或分割错误的问题。在关键帧提取阶段,将镜头分割为子镜头后,引入图像熵的概念提取关键帧。实验结果表明了改进算法在镜头分割和关键帧提取方面的有效性。     

Rate-driven key frame selection using temporal variation of visualcontent

A simple and fast method to select the assigned number of key frames in a video shot is presented. The algorithm selects the key frames so that the temporal variation of visual content within a video shot is equally distributed to each key frame. Simulation results on a real video sequence are shown to be in agreement with the human visual perception     

Video abstraction based on the visual attention model and online clustering

With the fast evolution of digital video, research and development of new technologies are greatly needed to lower the cost of video archiving, cataloging and indexing, as well as improve the efficiency and accessibility of stored video sequences. A number of methods to respectively meet these requirements have been researched and proposed. As one of the most important research topics, video abstraction helps to enable us to quickly browse a large video database and to achieve efficient content access and representation. In this paper, a video abstraction algorithm based on the visual attention model and online clustering is proposed. First, shot boundaries are detected and key frames in each shot are extracted so that consecutive key frames in a shot have the same distance. Second, the spatial saliency map indicating the saliency value of each region of the image is generated from each key frame and regions of interest (ROI) is extracted according to the saliency map. Third, key frames, as well as their corresponding saliency map, are passed to a specific filter, and several thresholds are used so that the key frames containing less information are discarded. Finally, key frames are clustered using an online clustering method based on the features in ROIs. Experimental results demonstrate the performance and effectiveness of the proposed video abstraction algorithm.     

级联手工特征与深度特征的视频关键帧检测方法

关键帧检测是有效的视频内容分析的关键环节。常用的基于手工特征的方法运行效率高但很难有效表征关键帧特征,因而性能不好。基于深度特征的方法因为网络结构复杂,导致效率不高。在体育比赛类视频中,关键帧常为比赛转播中镜头变化的最后一帧。但广播视频中除了包含比赛视频还包括很多其他类型的镜头如中场休息、渐变镜头等。因此检测最后一帧包含很多比赛无关内容。针对这一问题,本文提出了一种手工特征与深度特征相结合的视频关键帧检测方法。首先基于颜色直方图特征进行镜头边界检测获取最后一帧。进一步基于直方图相似性提出一种类似聚类的方法得到候选关键帧。最后,基于深度神经网络对候选关键帧进行分类,得到真正的关键帧。在冰壶比赛视频和篮球比赛视频上的对比实验结果表明,相对于传统的背景差分法、光流法等,本文提出方法能够快速、可靠地提取关键帧。      

一种基于镜头属性的关键帧提取系统

研究并设计了一种基于镜头属性的关键帧提取系统.该系统将镜头分成定格、拉伸、静态场景和动态场景4大属性,以分析相邻采样帧中若干条线段的灰度分布曲线相似度为基础,并结合了图像灰度直方图的相似度分析,按照不同的镜头属性提取关键帧.该系统计算量小,满足实时性分析的要求,能较好地说明镜头的类别.     

使用线性分割和序列合并的视频镜头分割方法

本文提出一种双向帧距离模型,基于帧距离双向对比,采用较低的全局阈值,使用线性遍历的方法对视频内容进行粗镜头划分成碎片序列集合和边界序列集合.然后通过比对每一个边界序列相邻的碎片序列内容的相似度,对粗划分的内容进行再合并,从而实现了用线性方法同时解决突变类镜头切换和渐变类镜头切换的镜头分割问题.     

Efficient Filtering and Clustering Methods for Temporal Video Segmentation and Visual Summarization

Automatic temporal segmentation and visual summary generation methods that require minimal user interaction are key requirements in video information management systems. Clustering presents an ideal method for achieving these goals, as it allows direct integration of multiple information sources. This paper proposes a clustering-based framework to achieve these tasks automatically and with a minimum of user-defined parameters. The use of multiple frame difference features and short-time techniques are presented for efficient detection of cut-type shot boundaries. Generic temporal filtering methods are used to process the signals used in shot boundary detection, resulting in better suppression of false alarms. Clustering is also extended to the key frame extraction problem: Color-based shot representations are provided by average and intersection histograms, which are then used in a clustering scheme to identify reference key frames within each slot. The technique achieves good compaction with a minimum number of visually nonredundant key frames.     

Tsallis entropy-based information measures for shot boundary detection and keyframe selection

Automatic shot boundary detection and keyframe selection constitute major goals in video processing. We propose two different information-theoretic approaches to detect the abrupt shot boundaries of a video sequence. These approaches are, respectively, based on two information measures, Tsallis mutual information and Jensen–Tsallis divergence, that are used to quantify the similarity between two frames. Both measures are also used to find out the most representative keyframe of each shot. The representativeness of a frame is basically given by its average similarity with respect to the other frames of the shot. Several experiments analyze the behavior of the proposed measures for different color spaces (RGB, HSV, and Lab), regular binnings, and entropic indices. In particular, the Tsallis mutual information for the HSV and Lab color spaces with only 8 regular bins for each color component and an entropic index between 1.5 and 1.8 substantially improve the performance of previously proposed methods based on mutual information and Jensen–Shannon divergence.