基于时空轨迹行为特征的视频拷贝检测方法

互联网环境中大规模的视频拷贝检测面临拷贝变化多样性问题和数据量大的问题,需要使用鲁棒、精简的视觉特征.提出以视频连续帧中关键点的轨迹行为作为内容匹配的特征.关键点轨迹的运动行为不受拷贝变化的影响,利用其特征可以实现鲁棒性匹配.采用马尔可夫链模型建模轨迹的行为过程,将每条轨迹表示为一个25维的精简向量特征.使用时序一致性匹配方法定位视频拷贝的段落.在标准数据集上的对比实验证明:提出的算法在各种常见的拷贝变化下可以得到较高的检测精度,特征匹配的时空消耗低,对大规模的视频拷贝检测行之有效.     

多特征综合的视频拷贝检测

基于内容的视频拷贝检测是多媒体领域的一个研究热点.由于拷贝变换的多样性和综合性,单一特征难以获得很好的检测效果.提出一种多特征综合的方法来提高视频拷贝检测的效果.除了使用传统的局部和全局视觉特征外,还使用非正交二值子空间(NBS)方法来表示视频内容,并在其基础上使用归一化互相关(NCC)来提高拷贝视频内容相似度计算的效果.在此基础上,还采用多种措施对拷贝视频的判定结果进行精化.实验结果表明,该套方案对多种拷贝变换具有很强的鲁棒性,并且能够得到很好的检测精度.     

基于轨迹行为模式特征的视频拷贝检测算法

为了有效地利用视频的时域运动信息来提高视频拷贝检测的精度和鲁棒性,提出一种基于特征点轨迹行为模式的拷贝检测算法.首先从视频连续帧中提取特征点轨迹的行为模式特征,然后采用视觉关键词典技术构造视频的运动特征,最后基于运动特征的相似度进行视频拷贝检测.该算法在TRECVID标准数据集上取得了较高的检测精度.实验分析表明,基于轨迹的运动特征具有较强的描述区分能力,对各种常见的拷贝变化具有鲁棒性.     

基于视觉感知的时空联合视频拷贝检测方法

视频拷贝榆测在视频信息检索和版权保护等方面有着重要意义.文中依据视觉感知特性,认为现有的基于单帧的拷贝检测方法未充分利用视频的时空相关性,进而在利用这一重要特性进行拷贝检测方面进行了探讨.依据自然图像序列的时空相关性以及视觉系统对时空信息的感知特性,通过对时空切片单元块Sub进行DCT分析得到与视频内容相关的时空联合特征,并基于该特征提出视频拷贝检测算法.实验表明,文中所提出的视频拷贝检测方法对视频内容变化敏感而对相同内容视频格式上的变化鲁棒,表现出优于现有方法的性能.     

基于ORB和灰度序特征的视频拷贝检测

针对目前数字视频版权保护问题,提出一种基于ORB (oriented FAST and rotated BRIEF)二值特征描述符局部特征和灰度序全局特征的视频拷贝检测方法.通过比较相邻视频帧灰度直方图的巴氏距离对视频进行镜头分割,将镜头的第一帧作为视频关键帧,提取其灰度序特征和ORB特征,利用灰度序特征对查询视频进行初次匹配,去除部分干扰视频,使用ORB特征对灰度序检测结果再次匹配,得到视频拷贝检测结果.实验结果表明,该方法在视频拷贝检测方面具有可行性和有效性,并且准确率和召回率均可达80％以上.     

一种快速有效的网络视频拷贝检测方法

为了快速有效地检测真实网络中的拷贝视频, 针对现有基于顺序度量特征的检测算法存在鲁棒性不足和相似性度量不准确的问题, 提出基于核心区域顺序度量特征和转换距离的视频拷贝检测方法。该方法在统计分析真实网络中拷贝视频特点的基础上, 首先选取拷贝视频中相对稳定的核心区域提取顺序度量特征; 其次提出基于最小转换代价的度量标准, 并设计相应的顺序度量特征快速匹配方法; 最后采用简化的最长匹配子序列算法进行特征序列匹配, 检测查询视频中的拷贝片段。基于真实网络数据和MUSCLE-VCD-2007数据的实验结果显示, 相对于现有基于顺序度量特征的拷贝检测方法, 本方法鲁棒性更强, 检测效率更高。     

GPU加速的基于增量式聚类的视频拷贝检测方法

为有效地保护版权,提高大规模视频集的拷贝检测速度,提出一种完全实现在GPU上的基于增量式聚类的拷贝检测方法.对数据库中新增加的视频,首先调用GPU上的硬件解码单元对视频流解码,以实时的速度提取高维SIFT特征点;然后对特征点进行增量K-means聚类,以动态地反映数据库的变化,并根据聚类结果更新视觉关键词词典;再将每帧表示成归一化的词频向量;最后使用基于帧级别词频向量的时空顺序匹配法来判定查询视频是否为数据库中视频的拷贝.实验结果表明,该方法比原有的CPU实现方法整体提速最高达63倍.     

基于改进的近邻传播学习算法的视频拷贝检测

为解决传统的基于k-means聚类的视觉词典法存在检索精度差、时间效率低等问题,提出基于近邻传播学习算法且适用于大规模视频数据集的视觉词典改进生成方法.在此基础上采用局部敏感哈希方法实现视频帧直方图的相似性匹配,采用投票方法完成视频拷贝检测;通过引入LAP (landmark affinity propagation,LAP)算法实现视觉词典的动态扩充.实验结果表明,相比于传统方法,该方法提高了视频拷贝检测精度,对大规模数据集具有更好的扩展性.     

基于整体DCT系数顺序测度的鲁棒图像拷贝检测算法

能有效检测经过信号处理和几何攻击之后的版权图像是当今拷贝检测研究的热点和难点之一.现有基于图像分块的拷贝检测算法在图像经过旋转和缩放变换后分块内容变换较大,检测效果较差.针对上述问题,提出一种基于整体DCT系数顺序测度的鲁棒图像拷贝检测方法,选取彩色图像YCbCr颜色空间Y平面整体DCT变换后的中低频系数,计算其顺序测度作为图像特征矢量.由于整体DCT中低频系数随着图像缩放有规律的变化,引入顺序测度提取中低频系数的序列作为图像特征,因而对缩放失真具有较好的抵抗力,同时能很好地抵抗信号处理攻击;提出旋转补偿策略,使本算法能抵抗30°以内的旋转变换攻击.实验结果证明在抗拉伸和旋转攻击方面,给出的算法相对于已有算法具有较高的查全率和查准率.     

基于多种视频特征的镜头边界检测算法

提出一种基于多种视频特征的自适应镜头边界检测算法.利用滑动窗口将当前帧与其前后相邻多帧的视频特征进行比较,形成2组相似向量,利用Fisher判别式与运动矢量形成的自适应阈值实现突变检测.提取帧的亮度方差作为特征,通过有限状态机实现渐变检测.对大量TRECVID视频进行实验,结果表明该算法对突变和渐变都具有良好的检测性能,对运动及闪光具有较好的鲁棒性.     

基于时空域特征的视频拷贝检测方法

提出一种仿射不变、紧致的视频时空域特征,并基于该特征进行视频拷贝检测。该方法着眼于宏观的特征同样可较好地表征视频,并且宏观特征更符合人类视觉的感知特点。首先将视频的若干连续帧堆叠成一个三维视频块;然后使用地形中分水岭的概念在视频块中检测出若干最大稳定极值块(MSEB);接着用一系列三维不变矩作为视频时空域特征来表征这些MSEB;最后,基于这些视频时空域特征来进行视频拷贝检测。实验表明,该方法与其它方法相比,检测精度和特征匹配速度均有大幅提升。     

Effective and Efficient Query Processing for Video Subsequence Identification

With the growing demand for visual information of rich content, effective and efficient manipulations of large video databases are increasingly desired. Many investigations have been made on content-based video retrieval. However, despite the importance, video subsequence identification, which is to find the similar content to a short query clip from a long video sequence, has not been well addressed. This paper presents a graph transformation and matching approach to this problem, with extension to identify the occurrence of potentially different ordering or length due to content editing. With a novel batch query algorithm to retrieve similar frames, the mapping relationship between the query and database video is first represented by a bipartite graph. The densely matched parts along the long sequence are then extracted, followed by a filter-and-refine search strategy to prune some irrelevant subsequences. During the filtering stage, maximum size matching is deployed for each subgraph constructed by the query and candidate subsequence to obtain a smaller set of candidates. During the refinement stage, sub-maximum similarity matching is devised to identify the subsequence with the highest aggregate score from all candidates, according to a robust video similarity model that incorporates visual content, temporal order, and frame alignment information. The performance studies conducted on a long video recording of 50 hours validate that our approach is promising in terms of both search accuracy and speed.     

基于峭度图像的视频指纹算法

为解决网络视频的非法拷贝问题,提出一种基于峭度图像的视频指纹算法。对视频片段进行预处理后,利用均匀分布的随机变量提取关键帧以及关键帧的峭度图像,并对峭度图像进行离散余弦变换(DCT),采用较大的DCT系数构造视频指纹,在视频指纹的匹配过程中,通过滑动窗的方法对不同长度的指纹进行匹配,从而达到视频认证的目的。实验结果证明,该算法提取的视频指纹在常见视频攻击下误码率均小于10%。     

相似动画视频片段探测方法

为了实现相似视频片段的快速探测,以动画视频片段为研究对象,提出一种建立在视频单元层上的动画视频片段探测方法.在视频特征描述阶段,采用更符合动画图像的Markov平稳特征来描述动画视频帧的视觉特征,并利用视频距离轨迹(VDT)来挖掘视频片段特征,同时采用线性拟合特征的描述方法来描述VDT的特征;在特征匹配阶段,将视频片段匹配问题转换为网络流优化的问题,通过将视频单元的时间一致性嵌入到匹配网络中来寻找最佳对齐方式,大幅度减少了匹配的数据量.实验结果表明,该方法极大地改善了相似视频片段的探测效果,与传统的视频匹配方法相比,其具有更好的鲁棒性以及更高的效率.     

Automatic scene detection for advanced story retrieval

Browsing video scenes is just the process to unfold the story scenarios of a long video archive, which can help users to locate their desired video segments quickly and efficiently. Automatic scene detection of a long video stream file is hence the first and crucial step toward a concise and comprehensive content-based representation for indexing, browsing and retrieval purposes. In this paper, we present a novel scene detection scheme for various video types. We first detect video shot using a coarse-to-fine algorithm. The key frames without useful information are detected and removed using template matching. Spatio-temporal coherent shots are then grouped into the same scene based on the temporal constraint of video content and visual similarity of shot activity. The proposed algorithm has been performed on various types of videos containing movie and TV program. Promising experimental results shows that the proposed method makes sense to efficient retrieval of video contents of interest.     

一种通过视频片段进行视频检索的方法

视频片段检索是基于内容的视频检索的主要方式,它需要解决两个问题:(1) 从视频库里自动分割出与查询片段相似的多个片段;(2) 按照相似度从高到低排列这些相似片段.首次尝试运用图论的匹配理论来解决这两个问题.针对问题(1),把检索过程分为两个阶段:镜头检索和片段检索.在镜头检索阶段,利用相机运动信息,一个变化较大的镜头被划分为几个内容一致的子镜头,两个镜头的相似性通过对应子镜头的相似性计算得到;在片段检索阶段,通过考察相似镜头的连续性初步得到一个个相似片段,再运用最大匹配的Hungarian算法来确定真正的相似片段.针对问题(2),考虑了片段相似性判断的视觉、粒度、顺序和干扰因子,提出用最优匹配的Kuhn-Munkres算法和动态规划算法相结合,来解决片段相似度的度量问题.实验对比结果表明,所提出的方法在片段检索中可以取得更高的检索精度和更快的检索速度.     

Summarization of Visual Content in Instructional Videos

In instructional videos of chalk board presentations, the visual content refers to the text and figures written on the boards. Existing methods on video summarization are not effective for this video domain because they are mainly based on low-level image features such as color and edges. In this work, we present a novel approach to summarizing the visual content in instructional videos using middle-level features. We first develop a robust algorithm to extract content text and figures from instructional videos by statistical modelling and clustering. This algorithm addresses the image noise, nonuniformity of the board regions, camera movements, occlusions, and other challenges in the instructional videos that are recorded in real classrooms. Using the extracted text and figures as the middle level features, we retrieve a set of key frames that contain most of the visual content. We further reduce content redundancy and build a mosaicked summary image by matching extracted content based on K-th Hausdorff distance and connected component decomposition. Performance evaluation on four full-length instructional videos shows that our algorithm is highly effective in summarizing instructional video content.     

Visual word proximity and linguistics for semantic video indexing and near-duplicate retrieval

Bag-of-visual-words (BoW) has recently become a popular representation to describe video and image content. Most existing approaches, nevertheless, neglect inter-word relatedness and measure similarity by bin-to-bin comparison of visual words in histograms. In this paper, we explore the linguistic and ontological aspects of visual words for video analysis. Two approaches, soft-weighting and constraint-based earth mover’s distance (CEMD), are proposed to model different aspects of visual word linguistics and proximity. In soft-weighting, visual words are cleverly weighted such that the linguistic meaning of words is taken into account for bin-to-bin histogram comparison. In CEMD, a cross-bin matching algorithm is formulated such that the ground distance measure considers the linguistic similarity of words. In particular, a BoW ontology which hierarchically specifies the hyponym relationship of words is constructed to assist the reasoning. We demonstrate soft-weighting and CEMD on two tasks: video semantic indexing and near-duplicate keyframe retrieval. Experimental results indicate that soft-weighting is superior to other popular weighting schemes such as term frequency (TF) weighting in large-scale video database. In addition, CEMD shows excellent performance compared to cosine similarity in near-duplicate retrieval.     

一种改进的视频检索最优匹配算法

基于内容检索技术的出现为信息检索领域的发展指明了方向,分析了最大匹配和最优匹配的特征,前者仅从视觉的角度反映了两个镜头的相似性,后者则在最大匹配的基础上从客观全面的角度反映了镜头内容的相似特征,但是最优匹配算法忽视了视频内容时间顺序性。提出了一种改进的最优匹配算法,实验结果表明,算法在查全率和查准率方面均能够获得较为理想的结果。