基于视频指纹的视频片段检索方法

提出一种基于视频指纹的视频片段检索方法,通过视频指纹的相似性匹配对视频片段进行检索。通过改进的Harris检测计算DC图像的角点信息,去掉视频图像边缘提取视频运动特征,根据图像特征相似度和运动特征相似度的调和因子得到视频片段总的相似度。实验结果表明,与现有方法相比,该方法能准确检测视频片段,具有较强的鲁棒性,满足视频检索的实时要求。     

一种通过视频片段进行视频检索的方法

视频片段检索是基于内容的视频检索的主要方式,它需要解决两个问题:(1) 从视频库里自动分割出与查询片段相似的多个片段;(2) 按照相似度从高到低排列这些相似片段.首次尝试运用图论的匹配理论来解决这两个问题.针对问题(1),把检索过程分为两个阶段:镜头检索和片段检索.在镜头检索阶段,利用相机运动信息,一个变化较大的镜头被划分为几个内容一致的子镜头,两个镜头的相似性通过对应子镜头的相似性计算得到;在片段检索阶段,通过考察相似镜头的连续性初步得到一个个相似片段,再运用最大匹配的Hungarian算法来确定真正的相似片段.针对问题(2),考虑了片段相似性判断的视觉、粒度、顺序和干扰因子,提出用最优匹配的Kuhn-Munkres算法和动态规划算法相结合,来解决片段相似度的度量问题.实验对比结果表明,所提出的方法在片段检索中可以取得更高的检索精度和更快的检索速度.     

视频的检索反馈

基于内容的视频检索是一个重要的研究领导领域,吸引了众多研究者的举,常用的查询方式是通过例子视频进行检索,但是如何定义是否两个视频相似,仍然是尚未解决的问题,限制了检索系统的应用范围,而且由于视频内容的复杂性,不同在检索过程中,即使对同一部视频,其注重的角度也有可能不同,因此接受用户的反馈意见,当用户对查询结果不满意时可以优化查询结果,突出用户的需求,在综合了人类礼堂心理特征的基础上,介绍了一种视频相似衡量的模型,从镜头、视频等多个层次,多种视觉判断角度,对视频间相似度进行衡量,并在此基础上提出了多个粒度－－镜头层次和视频层次进行检索反馈的方法,整个过程是自动进行的,根据用户的意见灵活地优化检索结果。     

视频相似度的衡量

基于内容的视频检索系统中,最常用的检索方式是例子视频查询,即用户提交一部视频,系统返回相似的一系列视频,但是,怎样定义的两部视频是相似的,仍然是一个困难的问题。文中介绍了一种新的方法以解决这一难点。首先,提出了镜头质心特征向量的概念,减少了关键帧特征的存储量。其次,利用人类视觉判断中所潜在的因子,提出了视频在镜头间相似度的衡量,以及总体上相似度的衡量的方法,为不同粒度上的衡量提供了很大的灵活性,在现实意义上也是合理的。检索实验的结果证明了算法的有效性。     

基于索引结构的高效运动视频检索

视频片断检索是视频领域的研究热点，为了提高查询效率，利用高维索引结构Vector-Approximation File（VA-File）来组织视频子片段，并采用新的相似度模型和基于限定性滑动窗口的高效视频检索算法进行视频片段检索．提出的子片段的分割算法能够较好地区分运动的细节动作，且相似度模型充分考虑了对应子片段之间的视觉相似性以及时间顺序关系，因此对于运动视频的检索十分有效．实验证明，对于运动视频片段检索不仅具有较高的查询效率，而且能够得到较高的查全率和准确率．     

基于预处理的视频镜头边界检测算法

针对视频镜头边界检测的高时耗问题,提出了一种基于视频预处理的视频镜头边界检测(SBD)改进算法。通过使用自适应的阈值选择可能包含镜头边界的候选段,候选段内首帧与其余各帧进行相似度对比检测出镜头起始帧,并立即检测切变。若候选段中不包含切变,则进行渐变检测。调整候选段以保证镜头边界位于同一段内,段内其余各帧与起始帧进行相似度对比确定镜头结束帧。实验结果表明,所提算法镜头边界识别准确率能够达到90%以上,且与倒三角模式匹配方法相比能够节约时间15.6%~30.2%;与对渐变和切变分别检测的算法相比,该算法能够在满足识别率的基础上提升检测速度。     

利用等价关系理论进行视频片段检索的方法

视频片段检索是基于内容的视频检索的主要方式,可是现有的片段检索方法大多只是对预先分割好的片段进行检索。为了从连续的视频节目中自动分割出多个相似的片段,提出了一种新的有效的视频片段检索方法,并首次尝试将等价关系理论应用于视频片段的检索.该方法首先用等价关系理论定义了片段匹配函数,同时采用滑动镜头窗自动分割出多个真正相似的片段;然后把等价类映射为矩阵表达形式,再通过矩阵的特性来度量影响片段相似度的不同因子,实现了相似片段的排序。实验结果表明,该方法能够一次性快速准确地从连续视频库中自动分割出与查询片段相似的多个片段。     

综合利用声视特征的新闻视频结构化模型

视频结构化表征和基于这种表征进行相似度比较是视频检索的前提和最基础的重要工作。该文受视频制作过程的启发,通过分析新闻视频的内容结构特点,提出一个基于多语义抽象层次表示的5层视频目录结构化模型;在此基础上,采用分层处理思想,通过综合利用声视特征实现了基于目录结构的新闻视频结构化,克服了单纯用视觉特征难以胜任场景分段的困难,实验验证了该文思想及相应算法的有效性。     

一种基于多关键字的新闻视频自动检索方法

针对TBVR技术中人工标注存在的问题和CBVR技术的不成熟,以及对虚拟新闻系统中视频检索需求和特点的深入分析,在TBVR的基础上提出了一种基于多关键字的新闻视频自动检索方法。详细讨论了标注字典库、树形标注结构、关键字自动获取、相似度计算模型和自动检索算法等问题,并进行了实验验证。结果表明,提出的方法在对新闻视频进行检索时取得了很高的查全率,同时取得了较高的查准率,能够解决虚拟新闻系统中视频自动检索的问题。     

在MPEG视频上的语义视频对象分割改进算法

随着MPEG－4，MPEG－7等标准的提出，如何提取语义视频对象已成为当前视频压缩和检索领域共同的研究课题。特别是MPEG－7对视频对象的形状检索提出了具体要求。针对顾创等人的WaterShed算法不能很好处理现有MPEG－1视频数据的缺陷，提出改进算法，从而能够在MPEG视频流中提取到具有光滑轮廓的语义视频对象，算法主要有以下两点改进：提出将类成员数作为分类算法的参数；有压缩域和解码后的图像上先后进行两次分割。实验结果表明，改进算法在鲁棒性和分割结果精度上比原算法有较大的改进，其分割结果可用于轮廓检索和重要视频对象检索。     

基于压缩域行为描述子的视频检索新技术

构造了一个基于压缩域行为描述子的检索模型CMRS.在CMRS中,针对特征提取部分提出了一种基于宏块连接跟踪机制的运动轨迹提取算法和一种参数行为估计算法,并且对参数化运动原始的匹配准则（PSSM）加以改进,构造了新的基于速度的相似匹配准则.最后在检索模型的实现阶段,实现了模型的总体框架.     

基于稀疏表达的视频文字检测方法

针对传统视频文字检测方法存在效率较低、计算复杂、精确度不高的不足,提出一种视频文字检测方法,通过基于边缘密度和连通域分析的文字粗检测得到候选文本行,利用稀疏表达分类产生的过完备词典进行文字行验证。实验结果表明,该方法具有较好的检测性能,可以应用于视频检索系统。     

基于内容的视频检索系统在电子政务中的应用

实现信息化政务办公需要解决的一个问题是视频文档信息的检索与浏览。文中给出一个政务视频信息浏览和检索系统的方案,系统支持抽象层的视频信息浏览和基于示例图像的视频信息检索。系统分成两个主要部分:(1)视频内容结构化处理和抽象部分;(2)基于示例图像的视频信息检索部分。在部分(1)中,给出了一个基于颜色及目标轮廓变化特征进行非监督视频结构化和视频内容抽象的方法;在部分(2)中,首先对图像库中图像进行特征降维,然后进行聚类处理,这样降低了通过示例图像检索视频内容过程中相似性匹配运算的时间,提高了效率。     

Application of Laplacian Mixture Model to Image and Video Retrieval

In this paper, we study the peaky nature of wavelet coefficient distributions. The study shows that the wavelet coefficients cannot be effectively modeled by a single distribution. We then propose a new modeling scheme based on a Laplacian mixture model and apply it to the indexing and retrieval of image and video databases. In this work, the parameters of the model are first used to represent texture information in image retrieval. Then we explore its application to video retrieval. Traditionally, visual information is used for video indexing and retrieval. However, in some cases audio information is more helpful for finding clues to the video events. The proposed feature extraction scheme is based on the fundamental property of the wavelet transform. Therefore, it can also be adopted to analyze the audio contents of the video data. The experimental evaluation indicates the high discriminatory power of the proposed feature set. The dimension of the extracted feature vector is low, which is important for the retrieval efficiency of the system in terms of response time. User feedback is used to enhance the retrieval performance by modifying the system parameters according to the users' behavior. A nonlinear approach for defining the similarity between the two images is also explored in this work.     

新闻视频中基于主持人识别的新闻故事探测

新闻视频由一个个内容相互独立的新闻故事组成。新闻故事探测是新闻视频浏览、基于内容检索等操作的前提。该文根据新闻视频的特殊结构和新闻节目主持人固定的特征，采用基于人脸检测的主持人镜头识别和基于语音的主持人识别来分割新闻视频中的新闻故事。实验表明，该方法能准确地探测出新闻视频中的新闻故事。     

一种改进的视频检索最优匹配算法

基于内容检索技术的出现为信息检索领域的发展指明了方向,分析了最大匹配和最优匹配的特征,前者仅从视觉的角度反映了两个镜头的相似性,后者则在最大匹配的基础上从客观全面的角度反映了镜头内容的相似特征,但是最优匹配算法忽视了视频内容时间顺序性。提出了一种改进的最优匹配算法,实验结果表明,算法在查全率和查准率方面均能够获得较为理想的结果。