基于内容的检索中视频相似性度量方法研究

视频检索中,最普遍的检索方式是提交例子视频,查询出类似的视频。所以要设计一个准确可靠的视频检索系统,就必须定义好怎样的视频才是相似的。论文对基于内容的视频检索的基本原理进行了阐述,介绍了基于帧和镜头的相似性度量方法的基本思想和主要公式,然后对视频相似性度量方法进行了分析研究,最后对新的视频相似性度量研究向提出了展望。     

基于内容检索中的镜头相似度度量

基于内容的视频检索中的一个最普遍的方法是根据给定例子视频的检索，因此视频相似度度量是基于内容检索中的一个基本问题。该文在视频签名算法基础上提出了镜头粒度上的镜头基调算法，同时为了增加匹配的准确性。提出了赋权的镜头基调，以体现基调中各帧在镜头相似度中的重要性差异，并解决了原算法可能出现的基调帧对逆序的问题。     

基于3D卷积神经网络的视频哈希算法

针对目前相似性视频检索方法中快速性和准确性仍无法满足用户要求等问题,提出了一种基于3D卷积神经网络的视频快速检索方法。该算法将3D卷积神经网络与哈希学习方法结合应用于视频数据,既能快速学习视频时空特征表示,又能极大地缩短视频检索时间。在常用视频数据集上的实验结果表明,利用所提出的方法对视频进行相似性检索性能优于当前主流方法。     

基于视频指纹的视频片段检索方法

提出一种基于视频指纹的视频片段检索方法,通过视频指纹的相似性匹配对视频片段进行检索。通过改进的Harris检测计算DC图像的角点信息,去掉视频图像边缘提取视频运动特征,根据图像特征相似度和运动特征相似度的调和因子得到视频片段总的相似度。实验结果表明,与现有方法相比,该方法能准确检测视频片段,具有较强的鲁棒性,满足视频检索的实时要求。     

镜头内容分析及其在视频检索中的应用

提出了一种镜头内容分析方法及其在视频检索中的两个应用:镜头检索与场景结构提取.为了刻画一个镜头的内容变化,首先引入两个新的内容描述子:主色直方图和空间结构直方图.主色直方图能够捕捉那些持续时间最长的颜色,而这些颜色是这段视频所关注的对象或背景的主要颜色.从颜色块图提取的空间结构直方图是描述图像空间信息的一组特征.一个变化较大的镜头可以划分为几个内容一致的子镜头,两个镜头的相似性可以从对应子镜头的相似性计算得到.镜头相似性度量可以直接用于镜头检索,还可用于场景结构提取.另外,还提出分裂与合并力量竞争的场景结构提取方法.在大容量视频数据库上进行实验所得结果证实了该方法在镜头检索和场景提取的优异表现.     

基于视频指纹的快速视频拷贝检测方法

为满足视频拷贝检测的实时性要求,提出一种基于视频指纹的快速视频拷贝检测方法。基于DC图像序列提取改进的顺序度量特征和改进的运动特征,相结合生成视频指纹,通过视频指纹的相似性匹配对视频进行拷贝检测。实验结果证明,该方法能在保持准确性的同时快速地进行视频拷贝检测。     

结合稀疏编码和金字塔匹配的视频检索

针对金字塔匹配下的视频检索系统中基础特征用矢量量化方法表示不够精确的问题,结合稀疏编码方法进行视频检索。视频的基础特征通过稀疏编码表示后,用金字塔方法进行多次匹配,将多次匹配结果线性合并,作为修正后的相似性度量结果。通过对UCF50的检索实验表明,该方法能显著提高检索的准确率。     

挖掘视频层次结构，改善视频管理*

为了实现视频层次结构挖掘,提出了一个有效的视频镜头分割算法和一种镜头相似性度量方法,然后根据镜头颜色、纹理和语义相似性采用场景边界探测算法构造视频场景.实验结果表明,这些算法是可行的.     

利用等价关系理论进行视频片段检索的方法

视频片段检索是基于内容的视频检索的主要方式,可是现有的片段检索方法大多只是对预先分割好的片段进行检索。为了从连续的视频节目中自动分割出多个相似的片段,提出了一种新的有效的视频片段检索方法,并首次尝试将等价关系理论应用于视频片段的检索.该方法首先用等价关系理论定义了片段匹配函数,同时采用滑动镜头窗自动分割出多个真正相似的片段;然后把等价类映射为矩阵表达形式,再通过矩阵的特性来度量影响片段相似度的不同因子,实现了相似片段的排序。实验结果表明,该方法能够一次性快速准确地从连续视频库中自动分割出与查询片段相似的多个片段。     

一种快速有效的网络视频拷贝检测方法

为了快速有效地检测真实网络中的拷贝视频, 针对现有基于顺序度量特征的检测算法存在鲁棒性不足和相似性度量不准确的问题, 提出基于核心区域顺序度量特征和转换距离的视频拷贝检测方法。该方法在统计分析真实网络中拷贝视频特点的基础上, 首先选取拷贝视频中相对稳定的核心区域提取顺序度量特征; 其次提出基于最小转换代价的度量标准, 并设计相应的顺序度量特征快速匹配方法; 最后采用简化的最长匹配子序列算法进行特征序列匹配, 检测查询视频中的拷贝片段。基于真实网络数据和MUSCLE-VCD-2007数据的实验结果显示, 相对于现有基于顺序度量特征的拷贝检测方法, 本方法鲁棒性更强, 检测效率更高。     

Fast similarity search and clustering of video sequences on the world-wide-web

We define similar video content as video sequences with almost identical content but possibly compressed at different qualities, reformatted to different sizes and frame-rates, undergone minor editing in either spatial or temporal domain, or summarized into keyframe sequences. Building a search engine to identify such similar content in the World-Wide Web requires: 1) robust video similarity measurements; 2) fast similarity search techniques on large databases; and 3) intuitive organization of search results. In a previous paper, we proposed a randomized technique called the video signature (ViSig) method for video similarity measurement. In this paper, we focus on the remaining two issues by proposing a feature extraction scheme for fast similarity search, and a clustering algorithm for identification of similar clusters. Similar to many other content-based methods, the ViSig method uses high-dimensional feature vectors to represent video. To warrant a fast response time for similarity searches on high dimensional vectors, we propose a novel nonlinear feature extraction scheme on arbitrary metric spaces that combines the triangle inequality with the classical Principal Component Analysis (PCA). We show experimentally that the proposed technique outperforms PCA, Fastmap, Triangle-Inequality Pruning, and Haar wavelet on signature data. To further improve retrieval performance, and provide better organization of similarity search results, we introduce a new graph-theoretical clustering algorithm on large databases of signatures. This algorithm treats all signatures as an abstract threshold graph, where the distance threshold is determined based on local data statistics. Similar clusters are then identified as highly connected regions in the graph. By measuring the retrieval performance against a ground-truth set, we show that our proposed algorithm outperforms simple thresholding, single-link and complete-link hierarchical clustering techniques.     

基于视频推荐技术的无线网络视频服务器设计

无线网络视频服务器中视频推荐技术已成为重要技术之一,视频推荐技术是为了用户在使用无线网络是视频务器时,更快的找到感兴趣的视频;采用当前方法对用户进行视频推荐时,未考虑用户的兴趣偏好是否随着时间有所变化,使视频推荐出现偏差;为此,提出一种基于视频推荐技术的无线网络视频服务器设计方法;该方法首先使用无线网络视频服务器硬件部分的MPEG-4进行视频数据采集,并对MPEG-4采集的视频数据进行整理;在由软件部分把采集到的视频数据储存到缓冲区,进行视频缓冲,并建立视频数据队列进行视频数据输送;以计算无线网络视频的相似度来搜索相近视频,将搜索到的视频与目标用户观看过的视频进行对比,对比相似度越接近1,则说明用户对推荐视频感兴趣的几率大,反之越接近-1用户对推荐视频越不感兴趣;此计算方法能有效的从海量视频数据中快速的搜索出目标用户感兴趣视频;实验结果表明,将视频推荐技术应用到无线网络视频中可以迅速准确的搜索出目标用户感兴趣视频。     

基于时空灰度序特征的视频片段定位算法

基于灰度序特征的视频片段定位算法是解决视频片段定位问题的典型算法.这类算法存在的不足是：特征的唯一性表示能力不够,使得在召回率较高的情况下,定位检索的精度下降得较快;二次多项式级的时间复杂度使得响应时间过长,并对查询视频长度敏感.针对上述两个问题,提出了一种基于时空灰度序特征的视频片段定位算法,其关键步骤包括：(1) 在精确定位之前,通过引入线性时间复杂度的基于时空二值模式直方图特征(spatio-temporal binary pattern histogram,简称STBPH)的实时过滤算法以及基于二值时间灰度序特征(binarytemporal ordinal measure,简称BTOM)的快速过滤算法,大幅度减少精确定位阶段需要进行比较的候选视频片段个数;(2) 在精确定位阶段,通过引入唯一性表示能力更好且保持了较好鲁棒性的时空统一灰度序特征(jointspatio-temporal ordinal measure,简称JSTOM)进行序列匹配,显著提高了定位检索的精度.实验结果表明,该算法能够快速、准确地进行视频片段定位,大幅降低了对查询视频长度的敏感度.     

Multimedia file forensics system exploiting file similarity search

With the fast increase of multimedia contents, efficient forensics investigation methods for multimedia files have been required. In multimedia files, the similarity means that the identical media (audio and video) data are existing among multimedia files. This paper proposes an efficient multimedia file forensics system based on file similarity search of video contents. The proposed system needs two key techniques. First is a media-aware information detection technique. The first critical step for the similarity search is to find the meaningful keyframes or key sequences in the shots through a multimedia file, in order to recognize altered files from the same source file. Second is a video fingerprint-based technique (VFB) for file similarity search. The byte for byte comparison is an inefficient similarity searching method for large files such as multimedia. The VFB technique is an efficient method to extract video features from the large multimedia files. It also provides an independent media-aware identification method for detecting alterations to the source video file (e.g., frame rates, resolutions, and formats, etc.). In this paper, we focus on two key challenges: to generate robust video fingerprints by finding meaningful boundaries of a multimedia file, and to measure video similarity by using fingerprint-based matching. Our evaluation shows that the proposed system is possible to apply to realistic multimedia file forensics tools.

     

A quick search method for audio and video signals based on histogram pruning

This paper proposes a quick method of similarity-based signal searching to detect and locate a specific audio or video signal given as a query in a stored long audio or video signal. With existing techniques, similarity-based searching may become impractical in terms of computing time in the case of searching through long-running (several-days' worth of) signals. The proposed algorithm, which is referred to as time-series active search, offers significantly faster search with sufficient accuracy. The key to the acceleration is an effective pruning algorithm introduced in the histogram matching stage. Through the pruning, the actual number of matching calculations can be reduced by 200 to 500 times compared with exhaustive search while guaranteeing exactly the same search result. Experiments show that the proposed method can correctly detect and locate a 15-s signal in a 48-h recording of TV broadcasts within 1 s, once the feature vectors are calculated and quantized. As extentions of the basic algorithm, efficient AND/OR search methods for searching for multiple query signals and a feature dithering method for coping with signal distortion are also discussed.     

基于几何均值分解和结构相似度的同源视频时间域复制粘贴篡改快速检测及恢复方法

针对现有方法中篡改检测效率不高、定位不精确的问题,提出了一种基于几何均值分解(GMD)和结构相似度(SSIM)的同源视频复制-粘贴快速篡改检测及恢复的方法。首先,将视频转换为灰度图像序列。其次,将几何均值分解作为检测特征,提出了一个基于块的搜索策略来定位复制序列的起始帧。此外,算法首次将结构相似度用于度量视频两帧之间的相似度,并利用结构相似度对搜索策略得到的起始帧进行复检。由于复制视频序列对应两帧之间的相似度高于未篡改序列对应两帧之间的相似度,提出了一个基于结构相似度的从粗到精的方法来定位复制视频序列的末尾帧。最后,对视频进行恢复。与其他几种经典算法进行对比,实验结果表明,所提方法不仅能够检测经过复制-粘贴篡改操作的视频,而且能准确地定位复制-粘贴序列。此外,该方法在检测精度、召回率和检测时间上有较大提升。     

Video motion stitching using trajectory and position similarities

Stitching motions in multiple videos into a single video scene is a challenging task in current video fusion and mosaicing research and film production. In this paper, we present a novel method of video motion stitching based on the similarities of trajectory and position of foreground objects. First, multiple video sequences are registered in a common reference frame, whereby we estimate the static and dynamic backgrounds, with the former responsible for distinguishing the foreground from the background and the static region from the dynamic region, and the latter functioning in mosaicing the warped input video sequences into a panoramic video. Accordingly, the motion similarity is calculated by reference to trajectory and position similarity, whereby the corresponding motion parts are extracted from multiple video sequences. Finally, using the corresponding motion parts, the foregrounds of different videos and dynamic backgrounds are fused into a single video scene through Poisson editing, with the motions involved being stitched together. Our major contributions are a framework of multiple video mosaicing based on motion similarity and a method of calculating motion similarity from the trajectory similarity and the position similarity. Experiments on everyday videos show that the agreement of trajectory and position similarities with the real motion similarity plays a decisive role in determining whether two motions can be stitched. We acquire satisfactory results for motion stitching and video mosaicing.     

二值alpha平面辅助的视频对象快速运动估计算法

提出了一种任意形状视频对象的快速运动估计方法.详细分析了alpha平面在视频对象的快速运动估计过程中起到的指导性作用,采用边界扩展和边界掩码技术,提出了一种新的二值alpha平面匹配衡量准则WBAMC (weighted binary alpha-plane matching criterion).结合优先搜索策略,提出了二值alpha平面辅助的视频对象快速运动估计算法BAAME(binary alpha-plane assisted motion estimation),.首先,利用alpha平面和WBAMC准则,将边界宏块的搜索范围缩小至两个搜索起点的单调区域,再采用传统的快速运动估计算法确定其运动向量;然后,用边界宏块的运动向量预测内部宏块的搜索起点;最后,采用快速运动估计算法搜索内部宏块的运动向量.这种方法可与多种空间域和频率域运动估计算法相结合,有效地应用于基于对象的视频编码器中.实验结果表明,对于多种类型的标准测试视频流,BAAME算法始终能够保持较高的估计精度和主观质量,运动补偿的平均PSNR(peak signal-to-noise ratio)较DS(diamosd search)和PSA(pdoety search algorithm)(BAAS(binary alpha-plant assisted search) DS)高出0.1dB～0.SdB,略低于FS(full search),但是其计算复杂度与FS相比降低了20倍.     

基于视频感知哈希的视频篡改检测与多粒度定位

为了对被篡改过的视频进行准确快速的篡改检测与定位,引入人类视觉可计算模型,提出一种多层次、多粒度的视频篡改快速检测与定位算法.采用随机分块采样技术,提取视频结构感知特征及视频图像时域感知特征,利用哈希理论的单向摘要特性量化感知特征,获取视频摘要哈希.通过应用相似度矩阵进行多粒度、多层次篡改部位检测与定位.实验结果表明,相似度拟合图能够体现视频篡改攻击强度和攻击部位,算法表现出更好的篡改检测准确率与定位精确度.