序列模式挖掘在视频分类中的应用

视频流的数据量大，又是一种非结构性的数据，因此视频分类一直是视频分析工作中的一个难点。本文采用视频分割技术，将视频分割成一系列的镜头，利用这些镜头在时间上的序列特征，使用序列模式对镜头序列进行分析，并提出一个基于序列模式挖掘的视频分类系统模型。该系统中主要利用cSPADE算法来实现对镜头序列的分类，以形成分类规则库，通过该规则库匹配待分类视频的镜头序列，从而实现视频的分类。     

级联手工特征与深度特征的视频关键帧检测方法

关键帧检测是有效的视频内容分析的关键环节。常用的基于手工特征的方法运行效率高但很难有效表征关键帧特征,因而性能不好。基于深度特征的方法因为网络结构复杂,导致效率不高。在体育比赛类视频中,关键帧常为比赛转播中镜头变化的最后一帧。但广播视频中除了包含比赛视频还包括很多其他类型的镜头如中场休息、渐变镜头等。因此检测最后一帧包含很多比赛无关内容。针对这一问题,本文提出了一种手工特征与深度特征相结合的视频关键帧检测方法。首先基于颜色直方图特征进行镜头边界检测获取最后一帧。进一步基于直方图相似性提出一种类似聚类的方法得到候选关键帧。最后,基于深度神经网络对候选关键帧进行分类,得到真正的关键帧。在冰壶比赛视频和篮球比赛视频上的对比实验结果表明,相对于传统的背景差分法、光流法等,本文提出方法能够快速、可靠地提取关键帧。      

基于模糊粗糙集的新闻视频镜头边界检测方法

镜头边界检测是实现基于内容的视频检索的一个重要步骤.为了将视频分割成镜头,现有的方法大都是首先提取大量的特征然后构造相异性测度函数.然而,太多的特征就会降低算法的效率.因此,有必要对镜头边界检测的规则进行特征约简.本文将粗糙集中的属性重要性和模糊粗糙集中的分类精度相结合定义了模糊粗糙算子,并构造了相异度检测函数.最后给出了镜头边界检测的一般性规则.由于本文检测方案的自适应性,因此适合于各种类型的新闻视频.用来自中央电视台的3个多小时的新闻视频所做的镜头边界检测实验获得了95.4%的查全率和96.1%的准确率.     

多特征融合和改进神经网络的运动视频镜头转换检测

针对当前单一特征无法描述体育视频镜头转换信息,以及传统神经网络收敛速度慢等缺陷,为了提高体育视频镜头转换检测正确率,设计了一种多特征融合和改进神经网络的体育视频镜头转换检测方法.首先,采集体育视频镜头转换数据并提取多特征向量,以更加完整反映体育视频镜头转换信息;然后,针对BP神经网络的连接权值确定缺陷,对神经网络进行改...     

一种基于交互信息量的视频摘要生成方法

提出了一种基于交互信息量的视频摘要生成方法。该方法首先使用基于交互信息量的方法进行视频镜头检测,通过对检测到镜头帧的聚类提取镜头候选关键帧。然后对候选关键帧按照相邻帧间交互信息量的比较来提取镜头关键帧,最后将镜头关键帧按时序排列在一起形成视频摘要。试验表明,这种关键帧提取算法是有效的,其建立的视频摘要能较好的反映原视频的内容。     

一种基于粗集理论的视频流派分类方法

视频分类提供了一种管理和利用视频数据的有效手段.现有的视频流派分类方法倾向于使用尽量多的特征,借此更有效地表示视频内容,以保证分类的效果,但提取这些视频特征的代价通常都很高,因此有必要考虑流派分类中的特征选择问题.提出了一种基于粗集理论的方法实现视频特征的选择和流派的分类:通过分析相关文献中所使用的各种特征.提取了多种有效特征构成分类的基础;基于启发式搜索的方法用于发现最优约简,从而实现特征选择;通过约简导出的分类规则实现流派标识的确定.与已有方法分类效果的比较以及与决策树方法的实验对比表明了文中方法的有效性.     

基于颜色和灰度熵的视频镜头检测方法

视频镜头分割是视频检索和视频分类等应用的关键步骤,因此提出一种基于颜色直方图和灰度熵的镜头检测算法。该方法以HSV颜色直方图和图像的灰度熵为特征,计算视频相邻两图像帧的相似度,从而判断出是否发生了镜头变换。实验证明,该方法能准确检测出视频的突变镜头,对渐变镜头也有理想的检测效果。     

视频检索常用的镜头分割方法的研究

镜头分割是基于内容的视频检索的核心技术之一,经过多年的研究,目前已有大量算法被提出。首先对常用的镜头分割方法作了综述,然后以图表的方式对所讲方法进行了分类与归纳,最后基于现状提出一些想法,为实际应用提供了一定参考。     

电视广告监管中非告时段的识别技术

为了提高对电视全天广告监管的效率,本文提出了一种停播时段的识别技术.首先利用视频关键帧提取技术选取出关键帧,对所有的关键帧进行色彩特征和纹理特征比对;再根据视频节目停播时段的镜头变化规律,使用0表示不变,1表示变化,由阈值来定位镜头切换的位置,从而识别出具体的停播时段;最后将该时段从视频比对中剔除,以达到节省资源及提高广告识别效率.     

一种压缩域中基于镜头的视频检索方法

镜头是视频的基本单元。文章提出了一个计算镜头纹理直方图和在压缩域中基于镜头的视频检索方法。对镜头中所有Ⅰ帧的DC图分别提取颜色和纹理直方图，然后分别形成镜头的可变阿尔法颜色和纹理直方图．并用镜头的这些特征在镜头层次上用不同的距离度量方法进行视频检索。实验结果表明，基于镜头的检索用L1度量距离比用L2和Χ^2度量距离有更好的检索性能，而且避免了基于关键帧检索中由于镜头运动等原因可能导致镜头关键帧选择不当对检索性能的影响，因而比基于关键帧检索具有更好的检索性能。     

Long transition analysis for digital video sequences

Video indexing is a technique used to extract objects within a video sequence and index them so that they can be used for future retrieval. In many video sequences, special effects such as fade and wipe are incorporated, and in some cases, it is desirable to be able to include objects within such effects for indexing. In this paper, we introduce an automatic process that determines the type of transition and extracts information from it, so that this information can be used in object extraction. Such a process consists of four stages: shot boundary refinement, shot type determination, frame reconstruction for soft transitions, and shot classification for hard transitions. In this paper, we will give the implementation, timing, and performance analysis for each stage. Long transition analysis bridges the gap between shot boundary detection and object tracking and smoothes the process of automatic video indexing for video databases.     

Image label transfer: Short video labelling by using frame auto-encoder

The number of short videos on the Internet is huge, but most of them are unlabeled. In this paper, a rough labelling method of short video based on the neural network of image classification is proposed. Convolutional auto-encoder is applied to train and learn unlabeled video frames, in order to obtain the feature in certain level of the network. Using these features, we extract key-frames of the video by our method of feature clustering. We put these key-frames which represent the video content into the image classification network, so that we can get the labels for every video clip. We also compare the different architectures of convolutional auto-encoder, while optimizing and selecting the better performance architecture through our experiment result. In addition, the video frame feature from the convolutional auto-encoder is compared with those features from other extraction methods. On the whole, this paper propose a method of image labels transferring for the realization of short video rough labelling, which can be applied to the video classes with few labeled samples.     

基于Conv-Involution的红外视频小样本人体行为识别方法北大核心CSCD

红外视频存在颜色信息缺失较为严重、识别区域易与背景混淆等现象,使得现有小样本特征提取网络常常关注无效信息,导致识别精度较低。针对此问题,本文提出一种基于内卷积(Conv-Involution)算子的红外视频小样本人体行为识别方法。首先,通过InstColorization方法恢复红外视频中的颜色信息;其次,基于空间和通道特异性设计Conv-Involution算子,并利用该算子和改进注意力机制设计特征提取网络,分离背景,更有效地关注行为发生区域;最后,结合小样本学习方法ANIL进行人体行为分类。对比实验结果表明,本文所提方法不但识别精度最高,而且具有出色的稳定性。     

基于内容的视频分析技术研究

视频数据分析处理是实现基于内容的视频检索的一项关键技术,它直接影响到视频特征匹配和检索的精度。从分析视频数据的结构和特点出发,总结了基于内容检索的视频处理方法的一般过程,即视频分割、关键帧选取、静态和动态特征提取以及视频聚类等。对基于内容视频分析中的关键技术进行了深入的探讨研究,分析了各种方法的优缺点并介绍了一些新的方法,最后提出了一些值得进一步研究的问题。     

基于压缩感知和熵计算的关键帧提取算法

针对关键帧提取问题,提出了一种基于压缩感知理 论和熵计算的关键帧提取算法, 首先通过构造符合有限等距性质要求的稀疏随机投影矩阵,将高维多尺度帧图像特征变换为 低维多尺度帧图像特征, 并形成视频镜头低维多尺度特征列向量组;然后通过随机权值向量与低维多尺度特征向量的 阿达玛乘积运算生成各 帧图像的匹配特征,并根据匹配特征的相似性度量完成镜头内部的子镜头分割;最后通过交 叉熵计算在每个子镜头 中得到可能的关键帧,并由图像熵计算确定最终的关键帧。实验表明,与传统方法相比,本 文算法提取的关键帧能够更精确、更稳定描述视频镜头内容。     

基于小波和矩的图像字符特征提取方法研究

提取稳定而有代表性的特征是视频图像字符识别的核心问题之一。文章提出了一种基于小波和矩的图像字符特征向量提取方法。通过对字符图像的不同小波分解子图求取不同的矩特征，构造出字符的特征向量。该方法将小波对图像结构精细特征的把握能力强的优点与矩所具有的平移，缩放和旋转不变及抗噪性强的特性有机地结合起来，特征向量稳定、识别准确率高、算法快、抗噪性能强，且特征提取方法具有类人视觉特点。     

Robust semi-blind video watermarking based on frame-patch matching

In this paper, we present a frame-patch matching based robust semi-blind video watermarking using KAZE feature. The KAZE feature is employed for matching the feature points of frame-patch with those of all frames in video for detecting the embedding and extracting regions. In our method, the watermark information is embedded in Discrete Cosine Transform (DCT) domain of randomly generated blocks in the matched region. In the extraction process, we synchronize the embedded region from the distorted video by using KAZE feature matching. Based on the matched KAZE feature points, RST (rotation, scaling, translation) parameters are estimated and the watermark information can be successfully extracted. Experimental results show that our proposed method is robust against geometrical attacks, video processing attacks, temporal attacks, and so on.