一种基于时空变化信息的视频内容检索方法

提出一种基于时空变化信息的视频内容检索方法.此方法以自适应变间隔关键帧选择策略提取镜头在时间域上的变化内容,采用时空注意力模型提取空域显著内容;然后对每一显著区域按Mpeg-7标准抽取相似纹理描述子、可扩展颜色描述子和基于轮廓的形状描述子,联合三低层视觉特征进行显著区域间的匹配度计算;最后提出用于视频检索的两镜头相似度匹配算法.对比实验表明该方法能有效进行基于内容的视频检索.     

基于颜色特征的视频数据库检索系统

为了在视频数据库中提供有效的视频检索和浏览功能,必须建立高效的索引.由于视频数据具有层次性的结构,在镜头边界检测后,可以利用聚类方法按不同的相似性尺度对镜头关键帧进行处理,对视频数据建立索引.该系统采用颜色特征,使用Twin Comparison算法实现镜头检测和直方图平均法实现关键帧提取,对关键帧采用K均值聚类算法处理,建立视频数据库索引.实验结果表明该系统能较好地实现视频快速浏览和检索功能.     

基于主色跟踪和质心运动的视频场景分割 *

传统的场景分割方法中往往通过比较关键帧来测量镜头间的相似度而忽略了镜头内的时域信息 ,针对这种缺陷提出一种基于主色跟踪和质心运动的视频场景分割的方法。首先 ,在量化的 HSV空间中 ,利用主色跟踪所得镜头的时间信息结合帧颜色直方图得到镜头的主色直方图 ,并且引入镜头质心特征向量的概念 ,通过其与帧向量的差异性获得镜头的运动信息 ;然后将所测得的镜头相似度用在改进的双向滑动窗口法中检测场景。实验结果验证了该方法的有效性。     

一种改进的视频关键帧提取算法研究

视频镜头分割和关键帧提取是基于内容的视频检索的核心问题.提出了一种改进的关键帧提取算法,其为视频检索奠定了基础,镜头分割部分采用改进直方图方法及基于像素方法的综合方法.首先,通过结合直方图交集及非均匀分块加权的改进直方图方法,根据视频内容将视频分割为镜头;然后,利用基于像素的帧差法,对得到的检测镜头进行二次检测,优化检测结果;最后,在HSV颜色空间的基础上,计算每个镜头内每帧的图像熵,从而确定关键帧序列.实验结果表明,提出的改进算法所得到的关键帧结构紧凑且分布均匀.     

基于超图聚类的故事单元的抽取与分析

合理而有效地结构化组织视频数据是浏览、检索和管理视频的重要前提.提出了一种新的层次化的结构化组织视频数据的提取故事单元的方法.它采用k-近邻超图描述镜头间的内容相似关系,利用超图模型对镜头聚类,并通过分析镜头类别间的时间投影关系提取故事单元,并采用一维字符串描述故事单元.此外,还提出了结合领域知识确定故事单元的类型的算法框架,并将其用于对话场景的检测.将算法用于测试多段视频,实验结果令人满意.     

视频检索中镜头分割方法综述

视频序列的镜头分割亦称镜头变化检测是视频检索中的关键技术之一。镜头变化是指视频序列中场景内容的变化。该文介绍了目前镜头分割的常用方法,包括灰度分割法、边缘分割法、彩色直方图分割法、MPEG视频的分割方法、块匹配镜头分割方法、统计判决镜头分割方法、基于聚类的镜头分割方法、镜头渐变的检测等,指出了研究场景内容的表征方法、特征提取方法、特征的检测尺度以及稳健可靠的实用镜头分割方法是目前主要的研究方向。     

基于镜头关键帧集的视频场景聚类的研究

在数字视频的分析、浏览、检索中,镜头已难以满足现有的需要。场景是一组包含有内容相关的若干镜头的集合,在一定程度上满足了数字视频的分析、浏览、检索的需要。文章首先使用了X2直方图匹配的计算方法,结合直方图的两次判断法,进行突变和渐变镜头边界的检测;然后对镜头内非相邻帧间距离经过阈值判断提取关键帧集;文章提出了基于镜头关键帧计算两个关键帧集之间距离的最小值作为所计算镜头之间的距离的算法;最后运用镜头之间的距离进行镜头的聚类产生场景,给出了典型的实验结果,表明该算法对视频场景的聚类有较好的性能。     

视频内容分析技术

概述了基于内容的视频检索的方法和工作过程,研究的重点是突变镜头探测(基于像素的方法、模板匹配法、基于直方图的方法、基于视频特征的方法),渐变镜头探测(双重比较法、基于模型的方法、基于压缩域的方法),关键帧提取的关键技术(基于颜色特征的方法,基于镜头边界的方法、基于镜头的方法、基于运动分析的方法等),在综合分析了各类方法的工作机理和优缺点的基础上,提出了一个优化的视频内容分析检索框架.     

一种新的多特征彩色图像检索方法

提出了一种新的多特征彩色图像检索方法。该算法结合MPEG-7视觉内容描述对真彩色图像进行量化处理,并利用模糊颜色直方图提取主色及其所占百分率作为颜色特征;对图像进行小波变换,并提取小波域子带图像能量作为纹理特征;综合上述2个特征计算图像间内容的相似度,并进行彩色图像检索。仿真实验表明,该方法具有较好的查准率和查全率。     

颜色和形状特征的商品图像检索技术的应用

针对基于内容的商品图像检索,提出了以颜色和区域形状为特征的检索技术方案.以非等间隔量化方法提取颜色直方图,同时设置显著水平阈值提取视觉主色,从而获取颜色特征.利用二维函数矩构造出的Hu矩特征值,并对矩特征值进行权重设置,提取了比较符合人类视觉的区域形状特征.两种特征组合检索,实现了商品图像的较高相似性度量的匹配.     

一种有效的视频场景检测方法

合理地组织视频数据对于基于内容的视频分析和应用有着重要的意义。现有的基于镜头的视频分析方法由于镜头信息粒度太小而不能反映视频语义上的联系，因此有必要将视频内容按照高层语义单元——场景进行组织。提出了一种快速有效的视频场景检测方法，根据电影编辑的原理，对视频场景内容的发展模式进行了分类，给出了场景构造的原则；提出一种新的基于滑动镜头窗的组合方法，将相似内容的镜头组织成为镜头类；定义了镜头类相关性函数来衡量镜头类之间的相关性并完成场景的生成。实验结果证明了该方法的快速有效性。     

一种基于镜头的视频场景检测方法

在数字视频的分析、浏览、检索中,现有的以镜头为基础的方法由于镜头粒度信息太小而不能表达视频语义上的联系,因此有必要将视频内容按照高层语义单元——场景进行组织。从分析视频剪辑的基本原则入手,给出了一种视频场景构造方法;首先使用改进了的像素匹配二次差分法结合双阈值法进行镜头突变和渐变的检测,然后对镜头内的帧间距离进行判断来提取关键帧;提出了一种基于双滑动镜头窗口的聚类方法,将内容相似语义相同的镜头聚合在一起形成新的场景。试验表明,该方法是有效的。     

InsightVideo: toward hierarchical video content organization for efficient browsing, summarization and retrieval

Hierarchical video browsing and feature-based video retrieval are two standard methods for accessing video content. Very little research, however, has addressed the benefits of integrating these two methods for more effective and efficient video content access. In this paper, we introduce InsightVideo, a video analysis and retrieval system, which joins video content hierarchy, hierarchical browsing and retrieval for efficient video access. We propose several video processing techniques to organize the content hierarchy of the video. We first apply a camera motion classification and key-frame extraction strategy that operates in the compressed domain to extract video features. Then, shot grouping, scene detection and pairwise scene clustering strategies are applied to construct the video content hierarchy. We introduce a video similarity evaluation scheme at different levels (key-frame, shot, group, scene, and video.) By integrating the video content hierarchy and the video similarity evaluation scheme, hierarchical video browsing and retrieval are seamlessly integrated for efficient content access. We construct a progressive video retrieval scheme to refine user queries through the interactions of browsing and retrieval. Experimental results and comparisons of camera motion classification, key-frame extraction, scene detection, and video retrieval are presented to validate the effectiveness and efficiency of the proposed algorithms and the performance of the system.     

Automatic scene detection for advanced story retrieval

Browsing video scenes is just the process to unfold the story scenarios of a long video archive, which can help users to locate their desired video segments quickly and efficiently. Automatic scene detection of a long video stream file is hence the first and crucial step toward a concise and comprehensive content-based representation for indexing, browsing and retrieval purposes. In this paper, we present a novel scene detection scheme for various video types. We first detect video shot using a coarse-to-fine algorithm. The key frames without useful information are detected and removed using template matching. Spatio-temporal coherent shots are then grouped into the same scene based on the temporal constraint of video content and visual similarity of shot activity. The proposed algorithm has been performed on various types of videos containing movie and TV program. Promising experimental results shows that the proposed method makes sense to efficient retrieval of video contents of interest.     

基于声像特征的场景检测

视频的结构分析是实现视频基于内容组织和检索的基础。目前 ,已经有很多用于视频镜头分割的成熟算法 ,但准确探测视频场景边界还比较困难。提出了一种融合视频中音频与可视特征进行场景检测的方法。该方法首先分别依据镜头的声、像特征相关性来对镜头进行聚类 ,然后综合处理依声、像相关性得到的镜头聚类来获取场景。实验结果证明 ,此方法较一般使用单一特征的场景检测方法提高了探测的准确率 ,同时也降低了误判率。     

Movie scene segmentation using background information

Scene extraction is the first step toward semantic understanding of a video. It also provides improved browsing and retrieval facilities to users of video database. This paper presents an effective approach to movie scene extraction based on the analysis of background images. Our approach exploits the fact that shots belonging to one particular scene often have similar backgrounds. Although part of the video frame is covered by foreground objects, the background scene can still be reconstructed by a mosaic technique. The proposed scene extraction algorithm consists of two main components: determination of the shot similarity measure and a shot grouping process. In our approach, several low-level visual features are integrated to compute the similarity measure between two shots. On the other hand, the rules of film-making are used to guide the shot grouping process. Experimental results show that our approach is promising and outperforms some existing techniques.     

一种层次视频摘要生成方法

视频摘要是视频内容的一种压缩表示方式。为了能够更好地浏览视频，提出了一种根据浏览或检索的粒度不同来建立两种层次视频摘要(镜头级和场景级)的思想，并给出了一种视频摘要生成方法：首先用一种根据内容变化自动提取镜头内关键帧的方法来实现关键帧的提取；继而用一种改进的时间自适应算法通过镜头的组合来得到场景；最后在场景级用最小生成树方法提取代表帧。由于关键帧和代表帧分别代表了它们所在镜头和场景的主要内容，因此它们的序列就构成了视频总结。一些电影视频片段检验的实验结果表明，这种生成方法能够较好地提供粗细两种粒度的视频内容总结。     

在线聚类算法用于基于内容的镜头检索

视频数据具有一定的隐舍层次性,因此在对视频进行镜头分割后,可以利用模糊聚类算法依据相似度提取关键帧和关键镜头,对视频内容进行抽象概括,并以此时镜头进行检索.本文用非监督学习方法中的在线聚类算法自动提取镜头的关键帧,以相似方法对关键帧进行聚类以自动提取关键镜头,并对分类结果进行自我调整.将上述方法实现并用于镜头检索,获得了良好的检索结果,并减少了经验对聚类的影响,而且较好地表示了视频内容的层次性.     

信息论联合聚类算法及其在视频镜头聚类中的应用

视频镜头自动聚类是基于内容索引与检索领域中的重要研究课题．以往相关工作,缺乏考虑描述镜头内容的特征与特征间存在关联性以及关联特征对镜头相似性度量和镜头聚类性能带来的影响．为提供更合理的镜头相似性度量,该文基于信息论联合聚类算法,将特征关联性挖掘和镜头聚类描述为彼此依附的同步优化过程．同时,为自动估计视频中镜头类别数,文中还提出基于贝叶斯信息准则的类别数估计算法．