MPEG压缩视频流中关键帧的提取算法

在基于视频内容检索的多媒体系统中，需要进行镜头分割、提取关键帧，需要用静态图像来表示视频内容以及对该图像的特性进行分析。视频序列中相邻画面一般具有相似和连续的特性，这是镜头分割和关键帧提取的共同理论依据。本文构造的关键帧提取系统，能直接提取关键帧而不用先进行镜头分割，只需要Ⅰ帧信息及其频城直流分量，能达到最小程度的解码。在关键帧的判定方面．通过分析当前镜头分割技术的特点，分析其发展方向，提出质点等价法和基于宏块互异的方法。     

结合互信息量与模糊聚类的关键帧提取方法

关键帧是描述一个镜头的关键图像帧,它通常反映一个镜头的主要内容,因此,关键帧提取技术是视频分析和基于内容的视频检索的基础。提出了一种结合互信息量与模糊聚类的关键帧提取方法,一方面通过互信息量算法对视频片段进行镜头检测可以保持视频的时间序列和动态信息,另一方面通过模糊聚类使镜头中的关键帧能很好的反映视频镜头的主要内容。最后构建了一套针对MPEG-4视频的关键帧提取系统,通过实验证明该系统提取的关键帧,可以较好地代表视频内容,并且有利于实现视频分析和检索。     

基于语义概念的视频检索系统的设计与实现

设计并实现了一种基于语义概念的视频检索系统,该系统包括视频镜头分割与关键帧提取、语义概念检测和用户检索3个部分。系统采用镜头分割与关键帧提取对视频进行层次分割,并对关键帧图像提取有效的图像低层特征,再使用支持向量机(SVM)进行概念的检测,最后针对概念内容进行视频检索。在概念检测中,提出了一种基于验证平均准确率的线性加权方法对SVM的分类结果进行后融合。实验结果表明,该方法可以达到较高的检索准确率。     

基于双阈值滑动窗口子镜头分割和完全连通图的关键帧提取方法

随着多媒体技术的发展,当今工作和生活中的多媒体信息日渐丰富。如何通过分析海量视频快速有效地检索出有用信息成为一个日益严重的问题。为了解决上述问题,提出了一种基于双阈值滑动窗口 子镜头分割和完全连通图的关键帧提取方法。该方法采用基于双阈值的镜头分割算法,通过设置双阈值滑动窗口来判断镜头的突变边界和渐变边界,从而划分镜头;并采用基于滑动窗口的子镜头分割算法,通过给视频帧序列加一个滑动窗口,在窗口的范围内利用帧差来对镜头进行再划分,得到子镜头;此外,利用基于子镜头分割的关键帧提取算法,通过处理顶点为帧、边为帧差的完全连通图的方法来提取关键帧。实验结果表明,与其他方法相比,提出的方法平均精确率较高,并且平均关键帧数目较低,可以很好地提取视频的关键帧。     

一种改进的视频关键帧提取算法研究

视频镜头分割和关键帧提取是基于内容的视频检索的核心问题.提出了一种改进的关键帧提取算法,其为视频检索奠定了基础,镜头分割部分采用改进直方图方法及基于像素方法的综合方法.首先,通过结合直方图交集及非均匀分块加权的改进直方图方法,根据视频内容将视频分割为镜头;然后,利用基于像素的帧差法,对得到的检测镜头进行二次检测,优化检测结果;最后,在HSV颜色空间的基础上,计算每个镜头内每帧的图像熵,从而确定关键帧序列.实验结果表明,提出的改进算法所得到的关键帧结构紧凑且分布均匀.     

基于频繁镜头集合的视频场景分割方法

提出一种基于全局场景特征在视频序列中寻找频繁镜头集合,并通过局部语义特征精确定位视频场景边界的视频场景分割方法。首先对分析视频进行高精度镜头分割,选取具有代表性的镜头关键帧。然后提取各镜头关键帧的全局场景特征和局部特征,并利用局部特征聚类得到的视觉词对各个镜头关键帧进行语义标注。接下来计算基于全局场景特征的镜头间相关性,结合视频场景的概念和特性,在镜头关键帧序列中寻找局部频繁出现的相关性高的镜头集合,粗略定位视频场景位置。最后利用镜头关键帧的语义标注特征精确定位视频场景边界。实验证明该方法能够准确、有效地检测并定位到大部分视频场景。     

基于综合信息的多尺度视频对象提取算法

提出了一种基于图象颜色和细节信息的多尺度视频对象提取算法。在低尺度下根据颜色信息进行初始粗分割;随着尺度的增加,利用对象的细节信息对分割结果进行细调整,直到达到需要的精度;最后,利用形态学的有关算法对分割区域进行填充、平滑。实验证明,算法的提取速度快、定位准确,可以用于视频序列中关键帧(I帧)的对象提取。     

基于镜头间信息的关键帧提取

关键帧提取是视频检索和摘要的基本技术之一。高效的关键帧提取技术能促进广泛应用的视频浏览技术的发展。本文提出了一种新的选择关键帧的准则,并相应地提出了基于帧频-反比镜头频数的关键帧选取算法。它的新颖之处在于在关键帧提取中不但应用了镜头内的信息,而且运用了镜头之间的视觉信息。     

基于K均值聚类的视频关键帧提取技术研究

文章提出了一种基于k均值聚类的视频关键帧提取算法。该算法在视频的镜头分割算法之上,通过层次聚类对视频内容进行初步划分,之后结合k均值聚类算法对初步提取的关键帧进行直方图特征对比去掉冗余帧,最终确定视频的关键帧序列。经过大量的实验数据证明,该算法能够提取出冗余度较低、代表性较强的关键帧,一定程度上为视频关键帧提取提供了有效的方法。     

基于仿射传播聚类的自适应关键帧提取

关键帧提取技术,是基于内容的视频检索的一个重要组成部分。为了能从不同类型的视频里有效地提取关键帧,提出了基于仿射传播聚类的自适应关键帧提取算法。首先通过图像的颜色特征获取视频镜头的相似性矩阵,然后通过仿射传播聚类自适应地提取视频关键帧。该算法从视频的本身信息分布出发,自适应地搜索出视频最优关键帧,且运算速度快。实验表明,该算法能有效地提取出视频最优关键帧,且算法快速稳健。     

基于目标变化的监控视频关键帧提取方法

监控视频关键帧提取技术作为监控视频分析的重要研究内容,能够有效地解决视频数据的高效存储和快速访问等问题。本文提出一种基于目标变化的监控视频关键帧提取方法,分析监控视频帧间的目标变化,并采用局部极大值优化方法将原监控视频划分成视频片段。最后,从每个视频片段中选取特征中心对应视频帧作为关键帧,并依据目标的属性删除冗余的关键帧得到最终的视频关键帧集合。实验结果表明,该方法所提取的视频关键帧冗余性较低,所包含的内容很具有代表性。同时,该方法的复杂度较低,适用于监控视频的关键帧提取工作。     

基于用户兴趣语义的视频关键帧提取

目前,视频关键信息提取技术主要集中于根据视频低层特征进行关键帧的提取,忽略了与用户兴趣相关的语义信息。对视频进行语义建模需收集大量已标注的视频训练样本,费时费力。为缓解这一问题,使用大量互联网图像数据构建基于用户兴趣的语义模型,这些图像数据内容丰富、同时涵盖大量事件信息;然而,从互联网获取的图像知识多样且常伴随图像噪声,使用蛮力迁移将大幅影响视频最终提取效果,提出使用近义词联合权重模型衡量互联网中存在差异但语义相近的图像组,并利用这些图像组构建语义模型。通过联合权重学习获取语义权重,每一图像组在知识迁移中所起的作用由权重值决定。使用来自不同视频网站的多段视频对所提方法进行验证,实验结果表明对用户感兴趣的内容进行联合权重语义建模能更加全面、准确地获取信息,从而有效指导视频关键帧提取。     

基于向量空间模型的视频语义相关内容挖掘

对海量视频数据库中所蕴涵的语义相关内容进行挖掘分析，是视频摘要生成方法面临的难题。该文提出了一种基于向量空间模型的视频语义相关内容挖掘方法：对新闻视频进行预处理，将视频转化为向量形式的数据集，采用主题关键帧提取算法对视频聚类内容进行挖掘，保留蕴涵场景独特信息的关键帧，去除视频中冗余的内容，这些主题关键帧按原有的时间顺序排列生成视频的摘要。实验结果表明，使用该视频语义相关内容挖掘的算法生成的新闻视频具有良好的压缩率和内容涵盖率。     

Secure video summarization framework for personalized wireless capsule endoscopy

Wireless capsule endoscopy (WCE) has several benefits over traditional endoscopy such as its portability and ease of usage, particularly for remote internet of things (IoT)-assisted healthcare services. During the WCE procedure, a significant amount of redundant video data is generated, the transmission of which to healthcare centers and gastroenterologists securely for analysis is challenging as well as wastage of several resources including energy, memory, computation, and bandwidth. In addition to this, it is inherently difficult and time consuming for gastroenterologists to analyze this huge volume of gastrointestinal video data for desired contents. To surmount these issues, we propose a secure video summarization framework for outdoor patients going through WCE procedure. In the proposed system, keyframes are extracted using a light-weighted video summarization scheme, making it more suitable for WCE. Next, a cryptosystem is presented for security of extracted keyframes based on 2D Zaslavsky chaotic map. Experimental results validate the performance of the proposed cryptosystem in terms of robustness and high-level security compared to other recent image encryption schemes during dissemination of important keyframes to healthcare centers and gastroenterologists for personalized WCE.     

Structuring low-quality videotaped lectures for cross-reference browsing by video text analysis

This paper presents an unified approach in analyzing and structuring the content of videotaped lectures for distance learning applications. By structuring lecture videos, we can support topic indexing and semantic querying of multimedia documents captured in the traditional classrooms. Our goal in this paper is to automatically construct the cross references of lecture videos and textual documents so as to facilitate the synchronized browsing and presentation of multimedia information. The major issues involved in our approach are topical event detection, video text analysis and the matching of slide shots and external documents. In topical event detection, a novel transition detector is proposed to rapidly locate the slide shot boundaries by computing the changes of text and background regions in videos. For each detected topical event, multiple keyframes are extracted for video text detection, super-resolution reconstruction, binarization and recognition. A new approach for the reconstruction of high-resolution textboxes based on linear interpolation and multi-frame integration is also proposed for the effective binarization and recognition. The recognized characters are utilized to match the video slide shots and external documents based on our proposed title and content similarity measures.     

室内场景视频结构化描述系统设计

视频结构化描述是对一种视频内容信息提取和应用的技术,它对视频内容按照语义关系,采用时空分割、特征提取、对象识别等处理手段,组织成可供计算机和人理解的文本信息的技术。本文介绍基于该技术的室内场景描述系统方案,系统实现对室内场景的描述以及相关描述数据的存储和分发。结果表明经过结构化描述的视频可提高应用效率。     

基于DVB的视频关键帧浏览系统的实现

随着计算机技术和电视技术的发展 ,数字视频节目日益增多 .为了迅速了解视频节目的内容 ,提出了建立基于数字视频广播 (DVB)的视频关键帧浏览系统的方案 .该系统首先利用 MPEG压缩视频提供的压缩参数 ,直接将视频序列划分成以镜头为单位的视频片段 ;然后提取每个镜头中的第一个 I帧作为关键帧 ,重构其 DC图象 ;最后 ,根据 DVB标准 ,通过扩展 SI表实现对这些视频关键帧进行封装的数据结构 ,从而实现电视台对视频关键帧的发送和接收 .文中给出了前端系统结构示意图和基于关键帧 DC图象的快速浏览实例 .由于该系统直接利用了压缩参数 ,从而减少了解压缩的开销 ,具有计算代价小 ,浏览速度快的特点 .     

人体运动视频关键帧优化及行为识别

在行为识别过程中,提取视频关键帧可以有效减少视频索引的数据量,从而提高 动作识别的准确性和实时性。为提高关键帧的代表性,提出一种关键帧序列优化方法,并在此 基础上进行行为识别。首先根据3D 人体骨架特征利用K-均值聚类算法提取人体运动视频序列 中的关键帧,然后根据关键帧所在序列中的位置进行二次优化以提取最优关键帧,解决了传统 方法中关键帧序列冗余等问题。最后根据最优关键帧利用卷积神经网络(CNN)分类器对行为视 频进行识别。在Florence3D-Action 数据库上的实验结果表明,该方法具有较高的识别率,并且 与传统方法相比大幅度缩短了识别时间。     

Natural language querying for video databases

The video databases have become popular in various areas due to the recent advances in technology. Video archive systems need user-friendly interfaces to retrieve video frames. In this paper, a user interface based on natural language processing (NLP) to a video database system is described. The video database is based on a content-based spatio-temporal video data model. The data model is focused on the semantic content which includes objects, activities, and spatial properties of objects. Spatio-temporal relationships between video objects and also trajectories of moving objects can be queried with this data model. In this video database system, a natural language interface enables flexible querying. The queries, which are given as English sentences, are parsed using link parser. The semantic representations of the queries are extracted from their syntactic structures using information extraction techniques. The extracted semantic representations are used to call the related parts of the underlying video database system to return the results of the queries. Not only exact matches but similar objects and activities are also returned from the database with the help of the conceptual ontology module. This module is implemented using a distance-based method of semantic similarity search on the semantic domain-independent ontology, WordNet.