多变量时间序列例外模式的识别

多变量时间序列(MTS)在金融、医学、科学、工程等领域是非常普遍的.本文提出一种在MTS中识别异常模式的方法.采用自底向上的分割算法将MTS分割成互不重叠的子序列,使用扩展的Frobenius范数来计算2个MTS子序列之间的相似性,通过K-均值聚类将MTS子序列分为若干个类.根据异常模式的定义,从这若干个类中识别出异常模式.在2个实际数据集上进行实验,实验结果验证算法的有效性.     

基于运动信息与马尔可夫彩色聚类的运动目标分割

针对视频序列图像中的运动目标分割,论文提出了将运动检测和马尔可夫彩色聚类相结合的运动目标分割算法。该算法首先利用基于统计模型的运动检测算法,通过后处理,得到运动目标的初始模板。然后,利用区域生长算法进行彩色图像的初始分割,在初始分割的基础上应用马尔可夫随机场模型进行彩色聚类,得到具有精确边缘的分割区域。最后,将运动目标的初始模板和彩色精确分割结合起来提取出具有精确边缘的运动目标。实验结果表明该算法能有效地分割和提取出视频序列中的运动目标。     

视频监控中的行为序列分割与识别

智能监控系统中的行为分析与识别是当前计算机视觉领域的研究热点,而行为序列分割则是行为分析与识别的基础.提出了一种无监督的行为序列分割算法,并对分割结果进行识别.首先,采用鲁棒的形状编码方案得到人体轮廓的紧凑表示,提取轮廓点集特征描述运动人体;然后,基于奇异值分解(SVD)估计行为序列数据的本征维数,确定数据对应的低维流形,并通过检测特征数据在该流形上的投影误差的突变实现行为序列分割;最后,采用隐马尔可夫模型(HMM)对分割结果进行识别.在公共数据库上的实验结果表明了此分割和识别算法的有效性.     

基于肤色模型与BP神经网络的手势识别

针对基于视觉的手势识别率不高,鲁棒性欠佳的问题,提出了一种基于YCb Cr椭圆聚类肤色模型分割手势结合反向传播(BP)神经网络识别的手势识别方法。对采集到的图像序列利用离散余弦变换(DCT)去噪处理和边缘检测,根据人体肤色在YCb Cr空间聚类紧凑的特性提取出手势的形状轮廓,将边缘检测与肤色模型分割结果相与得到分割出的手势,利用加速稳健特性(SURF)算法提取构建手势的特征向量,最后通过BP神经网络对手势图分类和识别。实验结果表明:针对复杂背景下的手势,该算法具有较强的鲁棒性,效率高,识别的准确率可达到96%。     

基于多种视频特征的镜头边界检测算法

针对固定场景的视频,提出一种基于时空分割的视频分割算法.该算法在时域中利用Tophat形态学滤波得到视频对象的精确位置,在空域中采用基于t混合模型和贪婪EM的聚类算法进行单帧图像分割.将时域定位和空域分割结果结合,可以准确地将视频序列中感兴趣的运动目标分割出来.实验表明,该算法能够得到完整的视频对象,有一定的理论意义和实用性.     

基于核聚类的H.264压缩域的运动对象分割方法

提出了一种基于核聚类的H.264压缩域的运动对象分割的方法。首先对运动矢量进行归一化处理,其次用引入了平均欧式距离的中值滤波的方法对运动矢量进行滤波去噪,再次利用减法聚类初始化聚类中心并且使用引入了核函数的模糊聚类进行聚类,最后将有效函数的判断结果作为分割条件,从而达到自适应分割出压缩域中的运动对象的目的。本方法对Hall视频序列进行了实验,实验证明,通过该方法可以获得较好的分割出视频序列中的运动对象。     

基于核聚类的H .264压缩域的运动对象分割方法

提出了一种基于核聚类的H.264压缩域的运动对象分割的方法。首先对运动矢量进行归一化处理,其次又引入了平均欧式距离的中值滤波的方法对运动矢量进行滤波去噪,再次利用减法聚类初始化聚类中心并且使用引入了核函数的模糊聚类进行聚类,最后将有效函数的判断结果作为分割条件,从而达到自适应分割出压缩域中的运动对象的目的。本方法对Hall视频序列进行了实验。实验证明,通过该方法可以较好地分割出视频序列中的运动对象。     

基于随机蕨丛的双层视频分割算法

提出一种基于随机蕨丛的双层视频分割算法,实现对单目视频的自动分割.算法在对视频运动特征进行聚类的基础上,构造视频运动特征字典.通过随机蕨丛对运动特征进行建模..在此基础上利用条件随机场约束视频颜色、运动特征以及邻域关系,通过graph-cut算法求解出全局最优的分割结果.在实验中采用多种环境的视频数据对本文算法的有效性进行测试,并与其他分割算法的结果进行比较.     

二型模糊融合的尺度约束多分辨率FCM分割

针对传统多分辨率模糊聚类图像分割算法的不足,提出了将二型模糊应用于多分辨率模糊聚类图像分割的新方法.将最粗尺度图像的聚类中心作为下一较细分辨率图像的初始聚类中心,并采用较粗分辨率图像聚类的类内最大距离对细分辨率图像的模糊聚类目标函数进行约束.对较小的粗分辨率图像进行了模糊隶属度扩展,得到一组隶属度值,再采用二型模糊算法有效融合该隶属度集合,完成聚类分割.实验结果表明,该算法能有效实现目标区域分离,获得理想分割效果.     

K-均值聚类算法在海水背景石斑鱼彩色图像分割中的应用

鱼类图像分割是养殖鱼类行为观测和智能化自动投饵系统的关键先决步骤。针对海水背景图像中鱼体分割,提出一种在人工海水环境中获取石斑鱼彩色RGB图像的软硬件系统,并将K-均值聚类算法应用于RGB格式图像的分割实验。观察并分析了彩色图像的三种单色(R、G或B)像素的直方图特征。以RGB三色像素点和三种单色(R、G或B)像素点为聚类数据集,使用K-均值聚类算法进行图像分割,聚类数设定为2,分别代表海水背景和鱼体目标。通过对100幅图像分割结果的观察和统计,可以得出初步结果,即使用蓝色(B)通道聚类分割的结果,最令人满意。     

基层层次光流的半自动时空视频分割技术

在新一代MPEG-4视频编码标准中，为了支持面向对象编码和实现基于内容的应用，视频的半自动分割成为关键技术之一，为此提出了一种基于层次光流的半自动时空视频分割算法。该算法由空域分割和时域分割组成。在空域分割中，提出的基于点的图形用户界面（PBGUI），在用户的协助下，能够精确地定义需要分割的视频对象（VO）。时域分割根据空域分割的结果采用层次光流算法对视频对象进行边界和整体跟踪。实验结果表明，利用该算法，能够精确地分割出视频对象。     

基于层次光流的半自动时空视频分割技术

在新一代 MPEG- 4视频编码标准中 ,为了支持面向对象编码和实现基于内容的应用 ,视频的半自动分割成为关键技术之一 ,为此提出了一种基于层次光流的半自动时空视频分割算法 .该算法由空域分割和时域分割组成 .在空域分割中 ,提出的基于点的图形用户界面 (PBGU I) ,在用户的协助下 ,能够精确地定义需要分割的视频对象 (VO) .时域分割根据空域分割的结果采用层次光流算法对视频对象进行边界和整体跟踪 .实验结果表明 ,利用该算法 ,能够较精确地分割出视频对象 .     

A bag-of-regions representation for video classification

A bag-of-regions (BoR) representation of a video sequence is a spatio-temporal tessellation for use in high-level applications such as video classifications and action recognitions. We obtain a BoR representation of a video sequence by extracting regions that exist in the majority of its frames and largely correspond to a single object. First, the significant regions are obtained using unsupervised frame segmentation based on the JSEG method. A tracking algorithm for splitting and merging the regions is then used to generate a relational graph of all regions in the segmented sequence. Finally, we perform a connectivity analysis on this graph to select the most significant regions, which are then used to create a high-level representation of the video sequence. We evaluated our representation using a SVM classifier for the video classification and achieved about 85 % average precision using the UCF50 dataset.     

Spatio-semantic Task Recognition: Unsupervised Learning of Task-discriminative Features for Segmentation and Imitation

Discovering task subsequences from a continuous video stream facilitates a robot imitation of sequential tasks. In this research, we develop unsupervised learning of the task subsequences which does not require a human teacher to give the supervised label of the subsequence. Task-discriminative feature, in the form of sparsely activated cells called task capsules, is proposed for self-training to preserve spatio-semantic information of a visual input. The task capsules are sparsely and exclusively activated with respect to the spatio-semantic context of the task subsequence: a type and location of the object. Therefore, the generalized purpose in multiple videos is unsupervisedly discovered according to the spatio-semantic context, and the demonstration is segmented into the task subsequences in an object-centric way. In comparison with the existing studies on unsupervised task segmentation, our work has the following distinct contribution: 1) the task provided as a video stream can be segmented without any pre-defined knowledge, 2) the trained features preserve spatio-semantic information so that the segmentation is object-centric. Our experiment shows that the recognition of the task subsequence can be applied to robot imitation for a sequential pick-and-place task by providing the semantic and location information of the object to be manipulated.

     

一种通过视频片段进行视频检索的方法

视频片段检索是基于内容的视频检索的主要方式,它需要解决两个问题:(1) 从视频库里自动分割出与查询片段相似的多个片段;(2) 按照相似度从高到低排列这些相似片段.首次尝试运用图论的匹配理论来解决这两个问题.针对问题(1),把检索过程分为两个阶段:镜头检索和片段检索.在镜头检索阶段,利用相机运动信息,一个变化较大的镜头被划分为几个内容一致的子镜头,两个镜头的相似性通过对应子镜头的相似性计算得到;在片段检索阶段,通过考察相似镜头的连续性初步得到一个个相似片段,再运用最大匹配的Hungarian算法来确定真正的相似片段.针对问题(2),考虑了片段相似性判断的视觉、粒度、顺序和干扰因子,提出用最优匹配的Kuhn-Munkres算法和动态规划算法相结合,来解决片段相似度的度量问题.实验对比结果表明,所提出的方法在片段检索中可以取得更高的检索精度和更快的检索速度.     

基于索引结构的高效运动视频检索

视频片断检索是视频领域的研究热点，为了提高查询效率，利用高维索引结构Vector-Approximation File（VA-File）来组织视频子片段，并采用新的相似度模型和基于限定性滑动窗口的高效视频检索算法进行视频片段检索．提出的子片段的分割算法能够较好地区分运动的细节动作，且相似度模型充分考虑了对应子片段之间的视觉相似性以及时间顺序关系，因此对于运动视频的检索十分有效．实验证明，对于运动视频片段检索不仅具有较高的查询效率，而且能够得到较高的查全率和准确率．     

融合时空多特征表示的无监督视频分割算法

针对视频分割的难点在于分割目标的无规则运动、快速变换的背景、目标外观的任意变化与形变等,提出了一种基于时空多特征表示的无监督视频分割算法,通过融合像素级、超像素级以及显著性三类特征设计由细粒度到粗粒度的稳健特征表示。首先,采用超像素分割对视频序列进行处理以提高运算效率,并设计图割算法进行快速求解;其次,利用光流法对相邻帧信息进行匹配,并通过K-D树算法实现最近邻搜索以引入各超像素的非局部时空颜色特征,从而增强分割的鲁棒性;然后,对采用超像素计算得到的分割结果,设计混合高斯模型进行完善;最后,引入图像的显著性特征,协同超像素分割与混合高斯模型的分割结果,设计投票获得更加准确的视频分割结果。实验结果表明,所提算法是一种稳健且有效的分割算法,其结果优于当前大部分无监督视频分割算法及部分半监督视频分割算法。     

Grenander时间结构学习与推理优化下的行为识别

针对现有基于视频整体时间结构建模的行为识别方法中,存在的时间噪声信息和歧义信息干扰现象,从而引起行为类别识别错误的问题,提出一种新型的Grenander推理优化下时间图模型(temporal graph model with Grenander inference, TGM-GI).首先,构建3D CNN-LSTM模块,其中3D CNN用于行为的动态特征提取, LSTM模块用于该特征的时间依赖关系优化.其次,在深度模块基础上,利用Grenander理论构建了行为识别的时间图模型,并设计了两个模块分别处理慢行为时间冗余和异常行为干扰问题,实现了时间噪声抑制下的时间结构提议.随后,设计融合特征约束和语义约束的Grenander测度,并提出一种时序增量形式的Viterbi算法,修正了行为时间模式中的歧义信息.最后,采用基于动态时间规划的模式匹配方法,完成了基于时间模式的行为识别任务.在UCF101和Olympic Sports两个公认数据集上,与现有多种基于深度学习的行为识别方法进行比较,该方法获得了最好的行为识别正确率.该方法优于基准的3D CNN-LSTM方法,在UCF101数据集上识别...     

Context-based segmentation of image sequences

We describe an algorithm for context-based segmentation of visual data. New frames in an image sequence (video) are segmented based on the prior segmentation of earlier frames in the sequence. The segmentation is performed by adapting a probabilistic model learned on previous frames, according to the content of the new frame. We utilize the maximum a posteriori version of the EM algorithm to segment the new image. The Gaussian mixture distribution that is used to model the current frame is transformed into a conjugate-prior distribution for the parametric model describing the segmentation of the new frame. This semisupervised method improves the segmentation quality and consistency and enables a propagation of segments along the segmented images. The performance of the proposed approach is illustrated on both simulated and real image data.     

Video retrieval of near-duplicates using κ-nearest neighbor retrieval of spatio-temporal descriptors

This paper describes a novel methodology for implementing video search functions such as retrieval of near-duplicate videos and recognition of actions in surveillance video. Videos are divided into half-second clips whose stacked frames produce 3D space-time volumes of pixels. Pixel regions with consistent color and motion properties are extracted from these 3D volumes by a threshold-free hierarchical space-time segmentation technique. Each region is then described by a high-dimensional point whose components represent the position, orientation and, when possible, color of the region. In the indexing phase for a video database, these points are assigned labels that specify their video clip of origin. All the labeled points for all the clips are stored into a single binary tree for efficient -nearest neighbor retrieval. The retrieval phase uses video segments as queries. Half-second clips of these queries are again segmented by space-time segmentation to produce sets of points, and for each point the labels of its nearest neighbors are retrieved. The labels that receive the largest numbers of votes correspond to the database clips that are the most similar to the query video segment. We illustrate this approach for video indexing and retrieval and for action recognition. First, we describe retrieval experiments for dynamic logos, and for video queries that differ from the indexed broadcasts by the addition of large overlays. Then we describe experiments in which office actions (such as pulling and closing drawers, taking and storing items, picking up and putting down a phone) are recognized. Color information is ignored to insure independence of action recognition to people's appearance. One of the distinct advantages of using this approach for action recognition is that there is no need for detection or recognition of body parts.