基于K均值聚类的视频关键帧提取技术研究

文章提出了一种基于k均值聚类的视频关键帧提取算法.该算法在视频的镜头分割算法之上,通过层次聚类对视频内容进行初步划分,之后结合k均值聚类算法对初步提取的关键帧进行直方图特征对比去掉冗余帧,最终确定视频的关键帧序列.经过大量的实验数据证明,该算法能够提取出冗余度较低、代表性较强的关键帧,一定程度上为视频关键帧提取提供了有...     

基于向量空间模型的视频语义相关内容挖掘

对海量视频数据库中所蕴涵的语义相关内容进行挖掘分析，是视频摘要生成方法面临的难题。该文提出了一种基于向量空间模型的视频语义相关内容挖掘方法：对新闻视频进行预处理，将视频转化为向量形式的数据集，采用主题关键帧提取算法对视频聚类内容进行挖掘，保留蕴涵场景独特信息的关键帧，去除视频中冗余的内容，这些主题关键帧按原有的时间顺序排列生成视频的摘要。实验结果表明，使用该视频语义相关内容挖掘的算法生成的新闻视频具有良好的压缩率和内容涵盖率。     

危险源监控视频关键帧提取初步研究

提出了一种危险源监控视频关键帧提取算法。根据危险源监控视频的特点,利用I帧DC图的比较,减少危险源监控视频的冗余信息,获取有效视频;利用基于镜头的压缩域关键帧提取方法提取帧。实验结果表明,该方法能有效进行危险源监控视频关键帧的提取。     

改进的蚁群算法与凝聚相结合的关键帧提取

关键帧提取技术,对基于内容的视频检索有着重要的作用。为了从不同类型的视频中有效地提取关键帧,提出了改进的蚁群算法与凝聚相结合的关键帧提取算法。该方法提取视频中每帧的颜色与边缘特征向量,利用改进的蚁群算法自组织地对颜色和边缘特征向量进行聚类,得到初始聚类。通过凝聚算法对初始聚类进行优化,得到最终聚类。提取每类中距离聚类中心最近的向量,将其对应帧作为关键帧。实验结果表明:使用该算法提取的关键帧不仅可以充分表达出视频的主要内容,而且可以根据视频内容的变化提取出适当数量的关键帧。     

煤矿井下视频关键帧提取算法

针对煤矿井下特殊的监控环境,对基于帧差欧氏距离的关键帧提取算法进行了研究。针对该算法存在的关键帧冗余度较大的问题,利用Canny算法提取图像边缘并进行边缘匹配,将冗余的关键帧剔除,从而降低冗余度。理论分析和仿真结果表明,改进后的关键帧提取算法能够有效降低冗余,提取出更加可靠的关键帧。     

基于视频聚类的关键帧提取算法

关键帧可以有效减少视频索引的数据量,是分析和检索视频的关键。在提取关键帧过程中,为了解决传统聚类算法对初始参数敏感的问题,提出了一种改进的基于视频聚类的关键帧提取算法。首先,提取视频帧的特征,依据帧间相似度,对视频帧进行层次聚类,并得到初始聚类结果;接着使用K-means算法对初始聚类结果进行优化,最后提取聚类的中心作为视频的关键帧。实验结果表明该方法可以大幅提高关键帧的准确率和查全率,能较好地表达视频的主要内容。     

一种视频序列拼接的新方法

提出了一种基于视频序列拼接的新方法。首先,利用KLT算法对视频序列中特征点进行提取和跟踪,实现关键帧粗略选取;其次,在选取的关键帧中利用SURF算法进行特征提取,利用最近邻距离比进行特征点匹配,通过RANSAC估计算法求精单映矩阵,并结合关键帧选取判定寻找最佳关键帧;最后,利用级联单映矩阵和加权融合算法实现视频序列拼接。实验验证了该方法的有效性。     

基于群体智能与K-均值相结合的关键帧提取*

为了从不同类型的视频中有效地提取关键帧,提出基于群体智能与K-均值相结合的关键帧提取方法。该方法首先提取视频的颜色特征向量,利用基于群体智能的聚类方法自组织地对颜色向量进行聚类,得到初始聚类;然后通过K-均值对初始聚类进行优化并加快算法收敛,得到最终聚类;最后,提取每类中距离聚类中心最近的向量对应帧并将其作为关键帧。实验表明,该算法能有效地提取出代表视频内容的关键帧,对镜头的相似性和连续性反映准确。     

一种基于语义的视频场景分割算法

针对如何在镜头基础上进行聚类，以得到更高层次的场景问题，提出了一个基于语义的场景分割算法。该算法首先将视频分割为镜头，并提取镜头的关键帧。然后计算关键帧的颜色直方图和MPEG-7边缘直方图，以形成关键帧的特征；接着利用镜头关键帧的颜色和纹理特征对支持向量机（SVM）进行训练来构造7个基于SVM对应不同语义概念的分类器，并利用它们对要进行场景分割的视频镜头关键帧进行分类，以得到关键帧的语义。并根据关键帧包含的语义概念形成了其语义概念矢量，最后根据语义概念矢量通过对镜头关键帧进行聚类来得到场景。另外．为提取场景关键帧，还构建了镜头选择函数，并根据该函数值的大小来选择场景的关键帧。实验结果表明，该场景分割算法与Hanjalic的方法相比，查准率和查全率分别提高了34．7％和9．1％。     

监控视频关键帧的人体高度测量算法

由于视频资料众多,如何从海量的视频数据中找到需要的视频,已经受到更高的重视,因此关键帧的提取算法越来越成为研究的热门问题。实验首先对监控视频进行了关键帧提取,然后利用摄像机标定以及灭点的方法,对人体的高度进行了分析和计算。结果表明:基于彩色直方图的语义距离,比较适用于监控视频中人物关键帧的提取。且算法简单可行,有较高的准确度,因此具有一定的实用价值。     

基于图像主色彩的视频关键帧提取方法

针对现有关键帧提取算法存在的计算量大、阈值选择困难、视频类型受限等问题, 提出了一种基于图像主色彩的视频关键帧提取方法。该方法利用基于八叉树结构的色彩量化算法提取图像主色彩特征,通过计算颜色特征的相似度实现镜头边界检测,最后采用K-均值算法对提取出的代表帧序列进行聚类,准确提取出指定数目的关键帧。实验结果表明,所提算法计算简单、空间耗费少,具有良好的通用性和适应性。     

基于时序上下文的视频场景分类

以传统的词袋模型为基础,根据相邻镜头关键帧之间具有相关性的特点提出了一种用于视频场景分类的模型。将视频片段进行分割,提取关键帧,对关键帧图像归一化。将关键帧图像作为图像块以时序关系合成新图像,提取新图像的SIFT特征及HSV颜色特征,将图像的SIFT特征及HSV颜色特征数据映射到希尔伯特空间。通过多核学习,选取合适的核函数组对每个图像进行训练,得到分类模型。通过对多种视频进行实验,实验结果表明,该方法在视频场景分类中能取得很好的效果。     

基于改进分块颜色特征和二次提取的关键帧提取算法

关键帧提取技术是视频摘要、检索、浏览和理解中的一项重要技术。目前关键帧提取算法存在一些问题,例如特征选择复杂、阈值选择难、自适应性不强等。为了更有效地提取视频关键帧,提出了一种基于改进分块颜色特征和二次提取的关键帧提取算法。首先,对视频帧进行等面积矩形环划分;其次,提取矩形环的HSV量化颜色特征,并由帧图像中心到外依次减小每个矩形环特征的权值以突出图像主体部分;然后,依据相邻视频帧间特征的显著性变化初步选取关键帧;最后,依据初次提取的关键帧在视频中的位置间隔大小进行二次提取优化关键帧。实验结果表明,该方法具有良好的适应性,同时能够有效避免因镜头有突然闪光或物体快速运动而提取过多的关键帧,最终提取的关键帧能够比较全面准确地表达视频内容。     

基于镜头内容变化率的关键帧提取算法

针对含有运动目标的视频采用单一阈值提取关键帧时易出现漏检或冗余的情况,提出基于镜头内容变化率的关键帧提取算法。根据镜头相邻帧差和与镜头平均邻帧差的变化特点定义镜头内容变化率,由该变化率确定关键帧提取的高、低阈值,实现自动提取一到多帧关键帧。实验结果表明,该变化率对视频帧的内容变化有较好的描述能力,提取的关键帧具有很好的代表性。     

Structured Sparse Coding With the Group Log-regularizer for Key Frame Extraction

Key frame extraction based on sparse coding can reduce the redundancy of continuous frames and concisely express the entire video. However, how to develop a key frame extraction algorithm that can automatically extract a few frames with a low reconstruction error remains a challenge. In this paper, we propose a novel model of structured sparse-coding-based key frame extraction, wherein a nonconvex group log-regularizer is used with strong sparsity and a low reconstruction error. To automatically extract key frames, a decomposition scheme is designed to separate the sparse coefficient matrix by rows. The rows enforced by the nonconvex group log-regularizer become zero or nonzero, leading to the learning of the structured sparse coefficient matrix. To solve the nonconvex problems due to the log-regularizer, the difference of convex algorithm (DCA) is employed to decompose the log-regularizer into the difference of two convex functions related to the l₁ norm, which can be directly obtained through the proximal operator. Therefore, an efficient structured sparse coding algorithm with the group log-regularizer for key frame extraction is developed, which can automatically extract a few frames directly from the video to represent the entire video with a low reconstruction error. Experimental results demonstrate that the proposed algorithm can extract more accurate key frames from most SumMe videos compared to the state-of-the-art methods. Furthermore, the proposed algorithm can obtain a higher compression with a nearly 18% increase compared to sparse modeling representation selection (SMRS) and an 8% increase compared to SC-det on the VSUMM dataset.      

融合多路特征和注意力机制的强化学习关键帧提取算法

针对现有视频关键帧提取算法对运动类视频中运动特征提取不准导致的漏检和误检问题,提出一种融合多路特征和注意力机制的强化学习关键帧提取算法。该算法首先通过人体姿态识别算法对视频序列进行人体骨骼关节点提取;然后使用S-GCN和ResNet50网络分别提取视频序列中的运动特征和静态特征,并将两者进行加权融合;最后应用注意力机制对特征序列进行视频帧重要性计算,并利用强化学习进行关键帧的提取和优化。实验结果表明,该算法能较好地解决运动类视频在关键帧提取中出现的漏误检问题,在检测含有关键性动作的视频帧时表现较好,算法准确率高、稳定性强。     

基于融合特征的视频关键帧提取方法

当前对视频的分析通常是基于视频帧,但视频帧通常存在大量冗余,所以关键帧的提取至关重要.现有的传统手工提取方法通常存在漏帧,冗余帧等现象.随着深度学习的发展,相对传统手工提取方法,深度卷积网络可以大大提高对图像特征的提取能力.因此本文提出使用深度卷积网络提取视频帧深度特征与传统方法提取手工特征相结合的方法提取关键帧.首先使用卷积神经网络对视频帧进行深度特征提取,然后基于传统手工方法提取内容特征,最后融合内容特征和深度特征提取关键帧.由实验结果可得本文方法相对以往关键帧提取方法有更好的表现.     

压缩视频流关键帧快速抽取方法

关键帧获取是视频内容分析的前提。目前的视频关键帧提取算法往往需要经过较多的计算才能确定,不适合海量视频数据处理的需求。面对互联网数据流的监控应用,分析了MPEG压缩视频流的特点,提出了一种新的关键帧快速抽取方法。该方法考虑了所抽取关键帧的覆盖面和视频动态性检测的需要,根据视频长度抽取多段关键帧,段首帧反馈定位,段内按稀疏系数抽取。通过视频库和IDC机房网络数据流的检测实验表明,提出的方法是快速有效的,能较好地应用于高速网络的视频监控中。     

基于特征关联的视频中群体人物行为语义抽取

为解决视频中群体人物行为语义抽取中群体人物相互遮挡、追踪困难等问题,构建一种基于特征关联的视频中群体行为人物语义抽取算法。该算法首先对视频帧提取多尺度融合特征图,通过特征图检测视频帧中可能存在的人物,利用去重算法筛除检测到的重复人物,精准定位群体人物边界框;接着预测群体人物特征掩码,通过比对相邻视频帧人物特征掩码的差异度追踪群体人物的运动轨迹;最后结合群体人物的运动轨迹推理每帧视频帧的群体人物行为语义,根据群体人物行为特点抽取视频群体人物行为语义。实验结果表明,该算法能够准确提取、定位群体人物的动态线索,解决群体人物复杂时空关系导致的语义抽取低效问题,有效地提高群体人物语义抽取的准确率和鲁棒性。