低层次和高层次特征相结合的人体动作识别

为了准确提取人体动作特征,提出了一种新的基于二维Gabor滤波器的时空兴趣点检测器,该检测器对遮挡,光照变化以及镜头缩放等具有较强的鲁棒性。基于80面体模型在一定大小的时空邻域内提取精细的时空梯度信息进一步刻画人体动作在时空上的视觉特征。采用最大似然估计得到对每段动作视频的权重直方图估计,使算法更有效率且权重直方图描述特征更具区分度。将低层次的权重直方图特征和高层次的动作语义属性融合,采用隐支持向量机求解最终动作识别模型的局部最优解。在几种典型的数据库上对算法进行了验证,与现有方法相比较,识别率有了较大的提高。     

一种基于时空兴趣点的人体动作识别方法

人体动作识别是计算机视觉中一个具有挑战性的课题,同时也具有广阔的应用前景。本文采用基于时空兴趣点的人体运动表示方法,实现了时空兴趣点的检测算法和人体动作识别,解决了检测过程中检测尺度的选择问题,取得了较好的识别结果。与经典的时空兴趣点检测方法相比,这种方法对比较简单的动作更加有效。     

基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示

为提高足球比赛视频中的多运动员行为识别的准确率,提出一种基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示方法,利用时空兴趣点来表示足球比赛视频中的多运动员行为。首先将足球比赛视频序列中的多运动员行为看作是三维空间中的时空兴趣点的集合,然后采用直方图量化技术将时空兴趣点集合量化为维数固定的直方图（即时空单词）,最后采用K-means聚类算法生成时空码本。在聚类生成码本之前,对每个时空兴趣点都进行了归一化,以保证其缩放和平移不变性。实验结果表明,该方法能够大大减少足球比赛视频中的多运动员行为识别算法的计算量,显著提高识别的准确率。     

基于级联结构的人体动作识别方法

基于视频的人体动作识别是近年来计算机视觉领域备受关注且十分具有挑战性的研究方向,可以应用于人的行为分析,视频监控和人机交互等方面。本文提出了一种基于级联结构的人体动作识别方法:针对Dollar时空兴趣点检测器易受图像噪声、摄像机运动与缩放等因素影响产生伪兴趣点的问题,提出了一种基于轨迹差异度的兴趣点筛选方法,有效避免了引入背景中的伪兴趣点,提高了人体运动特征提取的准确度;采用规范切与mRMR准则对词袋模型生成的特征向量进行自动特征选择,同时建立一个用于分类的级联结构,在识别各类不同动作时选择不同的特征子集,使得分类器使用的特征更具区分性。在KTH人体运动测试集上实验,验证了文中方法能提高动作识别的准确度。     

人体动作的超兴趣点特征表述及识别

提出一种基于超兴趣点的动作特征描述方法,用于人体动作的识别。兴趣点特征描述了人体动作时变化显著的局部点信息,但其最大的缺陷在于离散的兴趣点间缺乏时间和空间上的结构关联。提出根据兴趣点间的时空距离,使用广度优先搜索邻居算法,将时空距离相近的兴趣点聚合成超兴趣点,该结构作为一个整体,反映人肢体在一定时空范围内的动作变化特征。与现有的基于局部兴趣点的动作识别算法相比,本文算法增加了兴趣点间的整体时空结构关系,提高了特征的区分度。实验采用两层分类方法对超兴趣点特征分类,实验结果表明该算法具有较好的识别率。     

基于中层时空特征的人体行为识别

目的 人体行为识别是计算机视觉领域的一个重要研究课题,具有广泛的应用前景.针对局部时空特征和全局时空特征在行为识别问题中的局限性,提出一种新颖、有效的人体行为中层时空特征.方法 该特征通过描述视频中时空兴趣点邻域内局部特征的结构化分布,增强时空兴趣点的行为鉴别能力,同时,避免对人体行为的全局描述,能够灵活地适应行为的类内变化.使用互信息度量中层时空特征与行为类别的相关性,将视频识别为与之具有最大互信息的行为类别.结果 实验结果表明,本文的中层时空特征在行为识别准确率上优于基于局部时空特征的方法和其他方法,在KTH数据集和日常生活行为(ADL)数据集上分别达到了96.3%和98.0%的识别准确率.结论 本文的中层时空特征通过利用局部特征的时空分布信息,显著增强了行为鉴别能力,能够有效地识别多种复杂人体行为.     

基于话题模型的视频动作识别系统研究

从视频中识别人体动作是目前计算机视觉领域一个具有挑战性的方向。本文采用文本处理领域的bag-of-words方法,将视频表示为文章。在视频中寻找局部区域内在时间与空间上变化最大的点,作为时空兴趣点,在兴趣点上采集的视觉特征,作为文章中的词汇。在此基础上引入主题模型,对于视频中的隐含主题进行分析。最终通过主题在视频中的分布,经过判别法则识别其中的人物动作。通过在公开的视觉数据集上进行测试,结果表明本方法的表现接近或超过目前国际上领先的方法。     

基于局部描述子的人体行为识别

提出一种新的局部时空特征描述方法对视频序列进行识别和分类。结合SURF和光流检测图像中的时空兴趣点,并利用相应的描述子表示兴趣点。用词袋模型表示视频数据,结合SVM对包含不同行为的视频进行训练和分类。为了检测这种时空特征的有效性,通过UCF YouTube数据集进行了测试。实验结果表明,提出的算法能够有效识别各种场景下的人体行为。     

电影中复杂事件的检索与识别

提出一种基于局部时空兴趣点的电影中复杂事件检索与识别的方法。先将一个独立的事件视频序列表示成一个自组织映射像密度图,再将此密度图与支持向量机相结合用于识别事件。该方法使用局部时空特征描述子来捕捉视频中的局部事件,可以适应事件的模式的不同的大小和速度。为了验证该方法的有效性,使用公开的Hollywood视频数据库,其中的镜头序列收集自32部不同的Hollywood电影,包含了8个事件类别。综合实验,得到平均正确率、平均查准率和平均查全率分别为0.601、0.530和0.566。实验结果表明本文方法明显提高了平均正确率和平均查准率。     

基于稀疏编码的时空金字塔匹配的动作识别

针对复杂场景下的动作识别,提出一种基于稀疏编码的时空金字塔匹配的动作识别方法.通过稀疏编码的方法学习更具有判别性的码书和计算局部块(cuboids)的稀疏表示;然后基于max pooling的时空金字塔匹配进行动作分类.该方法在KTH和YouTube两大公开数据集上进行了评价,实验结果表明,与基于K-means的时空金字塔匹配方法相比,该方法提高了2%-7%左右的识别率,在复杂的视频中取得了较好的识别效果.     

基于RGB-D图像特征的人体行为识别

针对现有的多模态特征融合方法不能有效度量不同特征的贡献度的问题,文中提出基于RGB-深度(RGB-D)图像特征的人体动作识别方法.首先获取基于RGB模态信息的方向梯度直方图特征、基于深度图像模态信息的时空兴趣点特征和基于关节模态信息的人体关节点位置特征,分别表征人体动作.采用不同距离度量公式的最近邻分类器对这3种不同模态特征表示的预测样本进行集成决策分类.在公开数据集上的实验表明,文中方法具有简单、快速,高效的特点.     

改进的MSF-VQ人脸特征提取方法

MSF-VQ是一种用于人脸识别的图像特征.它先使用预先确定的码书计算出图片的向量量化直方图特征,再通过马尔科夫稳态特征对直方图进行扩展,从而得到MSF-VQ特征.MSF-VQ特征在人脸识别中表现出较高的识别准确率.但是它在码书的确定和空间信息表达上仍有一些不足之处.针对这两个方面,本文提出了一种改进的方法.首先根据人脸数据集来计算码书,从而提高向量量化直方图对人脸的分辨能力,然后通过结合多个方向上采样的MSF特征,增加MSF-VQ特征包含的空间位置信息.实验结果表明,改进的MSF-VQ方法具有更高的人脸识别准确率.     

基于动作图的视角无关动作识别

针对视角无关的动作识别,提出加权字典向量描述方法和动作图识别模型.将视频中的局部兴趣点特征和全局形状描述有机结合,形成加权字典向量的描述方法,该方法既具有兴趣点抗噪声强的优点,又可克服兴趣点无法识别静态动作的缺点.根据运动捕获、点云等三维运动数据构建能量曲线,提取关键姿势,生成基本运动单元,并通过自连接、向前连接和向后连接3种连接方式构成有向图,称为本质图.本质图向各个方向投影,根据节点近邻规则建立的有向图称为动作图.通过Na?ve Bayes训练动作图模型,采用Viterbi算法计算视频与动作图的匹配度,根据最大匹配度标定视频序列.动作图具有多角度投影和投影平滑过渡等特点,因此可识别任意角度、任意运动方向的视频序列.实验结果表明,该算法具有较好的识别效果,可识别单目视频、多目视频和多动作视频.     

基于时空约束密度聚类的停留点识别方法

轨迹停留点的识别是轨迹分析、出行活动语义挖掘的关键。针对基于密度聚类的停留点识别方法对时空信息的表达缺陷,提出新的时空约束停留点识别方法,在密度聚类中引入轨迹的间接时空特征表示,将具有时空相似性的轨迹点进行聚合;采用与聚类过程相统一的时空特征约束对轨迹簇进行细粒度识别。算法在进行约束的时候再次利用到聚类时候所用的输入数据特征,特征的充分利用提高了识别的准确率。实验结果验证了本文方法的有效性。     

Human activity recognition in videos using a single example

This paper presents a novel approach for action recognition, localization and video matching based on a hierarchical codebook model of local spatio-temporal video volumes. Given a single example of an activity as a query video, the proposed method finds similar videos to the query in a target video dataset. The method is based on the bag of video words (BOV) representation and does not require prior knowledge about actions, background subtraction, motion estimation or tracking. It is also robust to spatial and temporal scale changes, as well as some deformations. The hierarchical algorithm codes a video as a compact set of spatio-temporal volumes, while considering their spatio-temporal compositions in order to account for spatial and temporal contextual information. This hierarchy is achieved by first constructing a codebook of spatio-temporal video volumes. Then a large contextual volume containing many spatio-temporal volumes (ensemble of volumes) is considered. These ensembles are used to construct a probabilistic model of video volumes and their spatio-temporal compositions. The algorithm was applied to three available video datasets for action recognition with different complexities (KTH, Weizmann, and MSR II) and the results were superior to other approaches, especially in the case of a single training example and cross-dataset¹ action recognition.