基于多特征匹配的视频拷贝检测算法

针对已有的视频拷贝检测算法仅使用单一特征进行视频内容匹配,难以应对多种不同形式的拷贝变化的问题,提出一种基于多种视觉特征的视频拷贝检测算法.该算法采用级联式检测过滤框架,在提取视频帧图像的全局特征用于检测画面轻微变化的重复视频片段后,使用更精准的局部特征等来检测各种复杂变化后的拷贝内容.为在大规模数据库中实现快速检测,使用kd树型索引结构实现特征近邻检索.在标准评测数据集上的实验结果表明,文中算法对多种拷贝变化具有鲁棒性,并具有较高的检测效率.     

基于时空灰度序特征的视频片段定位算法

基于灰度序特征的视频片段定位算法是解决视频片段定位问题的典型算法.这类算法存在的不足是：特征的唯一性表示能力不够,使得在召回率较高的情况下,定位检索的精度下降得较快;二次多项式级的时间复杂度使得响应时间过长,并对查询视频长度敏感.针对上述两个问题,提出了一种基于时空灰度序特征的视频片段定位算法,其关键步骤包括：(1) 在精确定位之前,通过引入线性时间复杂度的基于时空二值模式直方图特征(spatio-temporal binary pattern histogram,简称STBPH)的实时过滤算法以及基于二值时间灰度序特征(binarytemporal ordinal measure,简称BTOM)的快速过滤算法,大幅度减少精确定位阶段需要进行比较的候选视频片段个数;(2) 在精确定位阶段,通过引入唯一性表示能力更好且保持了较好鲁棒性的时空统一灰度序特征(jointspatio-temporal ordinal measure,简称JSTOM)进行序列匹配,显著提高了定位检索的精度.实验结果表明,该算法能够快速、准确地进行视频片段定位,大幅降低了对查询视频长度的敏感度.     

一种快速有效的网络视频拷贝检测方法

为了快速有效地检测真实网络中的拷贝视频, 针对现有基于顺序度量特征的检测算法存在鲁棒性不足和相似性度量不准确的问题, 提出基于核心区域顺序度量特征和转换距离的视频拷贝检测方法。该方法在统计分析真实网络中拷贝视频特点的基础上, 首先选取拷贝视频中相对稳定的核心区域提取顺序度量特征; 其次提出基于最小转换代价的度量标准, 并设计相应的顺序度量特征快速匹配方法; 最后采用简化的最长匹配子序列算法进行特征序列匹配, 检测查询视频中的拷贝片段。基于真实网络数据和MUSCLE-VCD-2007数据的实验结果显示, 相对于现有基于顺序度量特征的拷贝检测方法, 本方法鲁棒性更强, 检测效率更高。     

基于视频指纹的快速视频拷贝检测方法

为满足视频拷贝检测的实时性要求,提出一种基于视频指纹的快速视频拷贝检测方法。基于DC图像序列提取改进的顺序度量特征和改进的运动特征,相结合生成视频指纹,通过视频指纹的相似性匹配对视频进行拷贝检测。实验结果证明,该方法能在保持准确性的同时快速地进行视频拷贝检测。     

基于局部排序的视频拷贝检测

排序法是一种常用的视频拷贝检测方法.为获得更佳的检测性能,提出一种基于排序特征的视频拷贝检测方案.该方案将帧进行分块,并按照Hilbert曲线顺序分别计算曲线上相邻块的灰度关系排序特征,生成用于检测的哈希码;为了准确地在目标视频中定位可疑内容,提H{了哈希匹配方案,将序列相似度作为匹配的依据,并引入动态规划的方法提高匹配精度;最后构造了拷贝测试样本,并与传统的排序签名检测方案进行性能对比实验.结果表明,文中方案拥有较好的检测性能,适用于视频内容的拷贝检测.     

基于视频指纹的视频片段检索方法

提出一种基于视频指纹的视频片段检索方法,通过视频指纹的相似性匹配对视频片段进行检索。通过改进的Harris检测计算DC图像的角点信息,去掉视频图像边缘提取视频运动特征,根据图像特征相似度和运动特征相似度的调和因子得到视频片段总的相似度。实验结果表明,与现有方法相比,该方法能准确检测视频片段,具有较强的鲁棒性,满足视频检索的实时要求。     

相似动画视频片段探测方法

为了实现相似视频片段的快速探测,以动画视频片段为研究对象,提出一种建立在视频单元层上的动画视频片段探测方法.在视频特征描述阶段,采用更符合动画图像的Markov平稳特征来描述动画视频帧的视觉特征,并利用视频距离轨迹(VDT)来挖掘视频片段特征,同时采用线性拟合特征的描述方法来描述VDT的特征;在特征匹配阶段,将视频片段匹配问题转换为网络流优化的问题,通过将视频单元的时间一致性嵌入到匹配网络中来寻找最佳对齐方式,大幅度减少了匹配的数据量.实验结果表明,该方法极大地改善了相似视频片段的探测效果,与传统的视频匹配方法相比,其具有更好的鲁棒性以及更高的效率.     

基于峭度图像的视频指纹算法

为解决网络视频的非法拷贝问题,提出一种基于峭度图像的视频指纹算法。对视频片段进行预处理后,利用均匀分布的随机变量提取关键帧以及关键帧的峭度图像,并对峭度图像进行离散余弦变换(DCT),采用较大的DCT系数构造视频指纹,在视频指纹的匹配过程中,通过滑动窗的方法对不同长度的指纹进行匹配,从而达到视频认证的目的。实验结果证明,该算法提取的视频指纹在常见视频攻击下误码率均小于10%。     

融合多模态特征与时区检测的视频摘要算法

针对传统视频摘要算法没有充分利用视频的多模态信息、难以确保摘要视频片段时序一致性的问题,提出了一种融合多模态特征与时区检测的视频摘要算法(MTNet)。首先,通过GoogLeNet与VGGish预训练模型提取视频图像与音频的特征表示,设计了一种维度平滑操作对齐两种模态特征,使模型具备全面的表征能力;其次,考虑到生成的视频摘要应具备全局代表性,因此通过单双层自注意力机制结合残差结构分别提取视频图像与音频特征的长范围时序特征,获取模型在时序范围的单一向量表示;最后,通过分离式时区检测与权值共享方法对视频逐个时序片段的摘要边界与重要性进行预测,并通过非极大值抑制来选取关键视频片段生成视频摘要。实验结果表明,在两个标准数据集SumMe与TvSum上,MTNet的表征能力与鲁棒性更强;它的F₁值相较基于无锚框的视频摘要算法DSNet-AF以及基于镜头重要性预测的视频摘要算法VASNet,在两个数据集上分别有所提高。     

基于ORB和灰度序特征的视频拷贝检测

针对目前数字视频版权保护问题,提出一种基于ORB (oriented FAST and rotated BRIEF)二值特征描述符局部特征和灰度序全局特征的视频拷贝检测方法.通过比较相邻视频帧灰度直方图的巴氏距离对视频进行镜头分割,将镜头的第一帧作为视频关键帧,提取其灰度序特征和ORB特征,利用灰度序特征对查询视频进行初次匹配,去除部分干扰视频,使用ORB特征对灰度序检测结果再次匹配,得到视频拷贝检测结果.实验结果表明,该方法在视频拷贝检测方面具有可行性和有效性,并且准确率和召回率均可达80％以上.     

基于视频对象的视频内容分级描述模型

本文提出了一种基于视频对象的视频内容分级描述模型.视频序列首先被分成一个个的镜头,在每个镜头内对视频对象进行分割和跟踪.按照镜头、视频对象、视频对象平面和视频对象区域四级框架提取特征,对视频内容进行分级描述.本文对视频内容信息的描述可以用于视频检索、视频注释等应用.     

Automatic composition of broadcast sports video

This study examines an automatic broadcast soccer video composition system. The research is important as the ability to automatically compose broadcast sports video will not only improve broadcast video generation efficiency, but also provides the possibility to customize sports video broadcasting. We present a novel approach to the two major issues required in the system’s implementation, specifically the camera view selection/switching module and the automatic replay generation module. In our implementation, we use multi-modal framework to perform video content analysis, event and event boundary detection from the raw unedited main/sub-camera captures. This framework explores the possible cues using mid-level representations to bridge the gap between low-level features and high-level semantics. The video content analysis results are utilized for camera view selection/switching in the generated video composition, and the event detection results and mid-level representations are used to generate replays which are automatically inserted into the broadcast soccer video. Our experimental results are promising and found to be comparable to those generated by broadcast professionals.     

A motion-based scene tree for browsing and retrieval of compressed videos

This paper describes a fully automatic content-based approach for browsing and retrieval of MPEG-2 compressed video. The first step of the approach is the detection of shot boundaries based on motion vectors available from the compressed video stream. The next step involves the construction of a scene tree from the shots obtained earlier. The scene tree is shown to capture some semantic information as well as to provide a construct for hierarchical browsing of compressed videos. Finally, we build a new model for video similarity based on global as well as local motion associated with each node in the scene tree. To this end, we propose new approaches to camera motion and object motion estimation. The experimental results demonstrate that the integration of the above techniques results in an efficient framework for browsing and searching large video databases.     

基于镜头时长和纹理信息的视频拷贝检测

在视频拷贝检测中,检测速度和检测精度不能同时达到最优。为此,提出一种基于镜头时长和纹理信息的视频拷贝检测方法。以镜头时长作为特征建立倒排索引,并放入数据库,对查询视频进行分割,将其与数据库匹配,得到初次拷贝检测结果,分析关键帧序列的纹理复杂度得到最终的拷贝检测结果。实验结果表明,该方法的检测速度较快,查准率和查全率均为1。     

基于时空域信息融合的视频拷贝检测算法研究

为了有效利用视频独有的时空域特性来提高视频拷贝检测算法的鲁棒性和精度,提出一种基于时空域信息融合的快速拷贝检测算法。该算法包括基于时空域信息融合的指纹提取算法、基于倒排索引的匹配搜索算法和结合异步滑窗策略的基于匹配状态机的匹配搜索算法。指纹提取算法首先将视频分段形成时空域信息帧,然后对该信息帧进行分块,提取DCT系数后,利用其中值进行阈值化得到视频指纹。基于倒排索引的搜索算法根据指纹的二值性特点建立倒排索引表,然后通过索引表快速查询指纹。结合异步滑窗策略的基于匹配状态自动机的搜索算法,利用与最近邻之间的匹配状态来改变搜索范围和步长,而异步滑窗策略通过对在线和离线过程采用不同的提取策略,减少搜索量,加快搜索速度。实验结果表明,提取的指纹对噪声模糊、添加字幕、空间偏移、旋转、掉帧具有较好的鲁棒性,同时提出的搜索方案在时间效率上也有较大的提升。     

视频结构挖掘的概念及应用*

提出了一种视频结构挖掘的概念框架和视频结构挖掘系统框架,在概念框架中对视频结构挖掘相关概念给出了规范化的定义,视频结构挖掘框架包括的主要内容有视频基本结构挖掘、视频语法结构挖掘和视频语义结构挖掘。最后讨论了视频结构挖掘中发现的结构模式和知识的具体应用,包括指导视频的组织与管理、实现基于内容的个性视频推荐和改善视频摘要系统。     

Automatic video logo detection and removal

Most commercial television channels use video logos, which can be considered a form of visible watermark, as a declaration of intellectual property ownership. They are also used as a symbol of authorization to rebroadcast when original logos are used in conjunction with newer logos. An unfortunate side effect of such logos is the concomitant decrease in viewing pleasure. In this paper, we use the temporal correlation of video frames to detect and remove video logos. In the video-logo-detection part, as an initial step, the logo boundary box is first located by using a distance threshold of video frames and is further refined by employing a comparison of edge lengths. Second, our proposed Bayesian classifier framework locates fragments of logos called logo-lets. In this framework, we systematically integrate the prior knowledge about the location of the video logos and their intrinsic local features to achieve a robust detection result. In our logo-removal part, after the logo region is marked, a matching technique is used to find the best replacement patch for the marked region within that video shot. This technique is found to be useful for small logos. Furthermore, we extend the image inpainting technique to videos. Unlike the use of 2D gradients in the image inpainting technique, we inpaint the logo region of video frames by using 3D gradients exploiting the temporal correlations in video. The advantage of this algorithm is that the inpainted regions are consistent with the surrounding texture and hence the result is perceptually pleasing. We present the results of our implementation and demonstrate the utility of our method for logo removal.     

视频结构挖掘的概念和框架

视频信息处理的关键是视频信息的结构化，视频除了有基本层次结构之外，还有隐藏其中的视频结构语法和结构语义。该文提出了一种视频结构挖掘的概念框架和视频结构挖掘的系统框架，在概念框架中对视频结构挖掘相关概念给出了明确定义和界定；视频结构挖掘框架主要包括：视频基本层次结构挖掘，视频结构语法挖掘和视频结构语义挖掘。讨论了视频结构模式和知识的具体应用，包括指导视频的组织与管理、实现基于内容的个性视频推荐和改善视频摘要系统。     

时空双路3D残差卷积网络的视频烟雾检测

现有的视频烟雾检测方法大多通过运动检测提取疑似烟区,并依据经验手工设计提取烟雾特征,在复杂场景中检测准确率不高。针对以上问题,提出了一种基于时空双路3D残差卷积网络的视频烟雾检测方法,基于混合高斯背景模型与原始视频帧的小波低频分量差进行疑似烟区提取,其次构造时空双路3D残差卷积神经网络,并引入注意力机制加权融合烟雾时空域特征,实现端对端的烟雾识别。实验结果表明,该方法可以得到更为完整的疑似烟区,尤其对于过于稀薄和浓厚的烟雾分割效果较好,且相比于传统的烟雾检测方法和2D的烟雾检测卷积网络,在烟雾检测准确率上得到了提高。