基于动态贝叶斯网络的多人跟踪算法

在单目视频多视角下的多人跟踪中,单一特征选取会造成识别困难。该文提出一种基于动态贝叶斯网络的分类特征联合建模的跟踪方法,将视频中基于时空的运动特征和轮廓特征相复合,采用先粗后精的方法解决由于视觉角度不同而造成的跟踪困难,实现同一场景中多视角下的多人跟踪。实验证明该方法有效且具有较好的鲁棒性。     

基于多视角非负矩阵分解的人体行为识别

提出一种基于多视角非负矩阵分解的视角不变特征提取方法用于融合多视角信息并进行人体行为识别。通过提取每个视频帧的时空描述符,有效描述了视频场景中的运动和形态信息;为了解决观测角度改变对识别的影响,在不同视角下构建基于时空描述符的时空矩阵,并利用多视角非负矩阵分解构建多视角的目标函数以得到融合了多视角信息的共识矩阵;计算共识矩阵的最大相关系数进行人体行为分类。该方法在WVU数据集、i3Dpose数据集上进行了验证,并与其他方法进行比较,结果表明了该方法在行为识别方面的有效性。     

一种简便的视角无关动作识别方法

针对日常生活中人体执行动作时存在视角变化而导致难以识别的问题,提出一种基于视角空间切分的多视角空间隐马尔可夫模型（ HMM）概率融合的视角无关动作识别算法。该方法首先按照人体相对于摄像机的旋转方向将视角空间分割为多个子空间,然后选取兴趣点视频段词袋特征与分区域的光流特征相融合,形成具有一定视角鲁棒性特征对人体运动信息进行描述,并在每个子视角空间下利用HMM建立各人体动作的模型,最终通过将多视角空间相应的动作模型似然概率加权融合,实现对未知视角动作的识别。利用多视角IXMAS动作识别数据库对该算法进行测试的实验结果表明,该算法实现简单且对未知视角下的动作具有较好识别结果。     

利用深度视频中的关节运动信息研究人体行为识别

由于计算开销大等原因,基于RGB视频和人工特征的行为识别方法在近些年的研究进展比较缓慢。相对于RGB视频,深度视频能提取运动物体的几何结构信息,不会随着光线的变化而变化,因此在视频分割、行为识别等视觉任务中比RGB视频具有更好的区分性。以深度视频中的关节运动信息为基础,提出一种简单而有效的人体行为识别方法。首先,根据深度视频中人体关节信息分别提取表示关节之间角度和相对位置的2个特征向量,然后使用LIBLINEAR分类器分别对提取的2个特征向量进行分类识别,最后,通过融合其分类结果得到最终的行为识别结果。该提取的特征仅包括关节间的相对位置和角度信息,不会因视角的变化而变化,具有一定的视角不变性。实验结果表明,所提出方法在UTKinect-Action3D数据集上能够获得与当前最好方法一致的识别效果,而且该方法具有很低的时间开销,实时性好。     

基于人体部件的视频行为识别方法研究

现有人体行为识别算法主要依赖于粗粒度的视频特征,但这些特征不足以有效描述人体行为的动作构成,从而降低了深度学习模型对易混淆行为的识别能力.该研究提出了一种基于人体部件的视频行为识别方法,通过学习人体细粒度部件的动作表示,自底向上地学习人体行为视频表征.该方法主要包含:(1)部件特征增强模块,用于增强基于图像的人体部件特...     

基于视角置信度和注意力的暴力行为识别

暴力行为容易出现遮挡情况, 识别准确率较低. 目前, 一些算法加入多视角视频输入来解决遮挡问题, 以等量权重将所有视角数据融合, 但是不同视角的视频因拍摄距离和遮挡情况本身就对识别存在差异性. 针对该问题, 本文提出一种基于视角置信度和注意力的暴力行为识别方法, 提高暴力识别的准确率. 本文将时序差分模块TDM的输入扩展成多视角, 将通道注意力机制运用在片段维度来增强TDM中跨段特征提取能力, 通过背景抑制方法突显移动目标的纹理特征并计算出每个视角图像的置信度, 引入双线性池化方法融合多视角视频特征, 根据视角置信度分配每个视角局部特征的权重. 本文在公开数据集CASIA-Action和自制数据集上进行了验证. 实验表明, 本文提出的视角置信度方法优于改进前的双线性池化方法, 暴力行为准确率相较于现有的行为识别方法取得了更好的效果.     

基于运动方向的视角无关行为识别方法

针对人体运动方向的随机特性,研究场景中有多台摄像机时视角无关的行为识别方法。利用一台位置固定的摄像机,根据视频序列中运动目标质心空间坐标变化,确定其运动大致方向。根据该方向,选择具有垂直和平行运动轨迹方向视角的相机获得的序列图像,进行行为分析。提取人体运动行为侧像和正像轮廓的关键姿态建立特征库。应用单个相机平行线约束,通过转换因子由图像坐标恢复运动目标关键点的三维坐标,从而确定目标运动方向。建立室内多视角行为视频样本库,实验结果表明,利用该方法识别室内运动行为,能够达到视角无关行为识别的目的。     

人体行为识别方法研究综述

随着计算机视觉不断发展,人体行为识别在视频监控、视频检索和人机交互等诸多领域中展现出其广泛的应用前景和研究价值。人体行为识别涉及到对图像内容的理解,由于人体姿势复杂多样和背景遮挡的因素导致实际应用的进展缓慢。全面回顾了人体行为识别的发展历程,深入探究了该领域的研究方法,包括传统手工提取特征的方法和基于深度学习的方法,以及最近十分热门的基于图卷积网络(GCN)的方法,并按照所使用的数据类型对这些方法进行了系统的梳理;此外,针对不同的数据类型,分别介绍了一些热门的行为识别数据集,对比分析了各类方法在这些数据集上的性能。最后进行了概括总结,并对未来人体行为识别的研究方向进行了展望。     

基于多视角自步学习的人体动作识别方法

自步学习的动作识别方法采用课程学习的思路,忽略了不同视角动作特征对课程的影响,对多分类的人体两维视频复杂动作识别无法取得满意效果。针对上述问题,提出一种多视角自步学习算法。选取5个视角并提取Trajectory、HOG、HOF、MBHx和MBHy作为各自视角下的特征信息,利用自步学习算法学习得出对应视角下的动作分类课程,使用线性规划增强方法将不同视角下的课程进行融合,得出更适合解决多类复杂动作识别问题的综合课程。实验结果表明,相比单一视角自步学习方法和多视角支持向量机方法,该方法提高了多类复杂动作识别的效率和准确率,具有更高的可操作性和更广泛的应用前景。     

基于Transformer的人体动作识别

为实现人体动作的精准识别,判断人体行为,提出基于Transformer的人体动作识别方法。以注意力机制神经网络为基础,引入Transformer框架,构建人体动作识别网络模型;该模型利用注意力机制提取视频中关键信息特征,同时依据Transformer模块提取动作帧的时间特征,将提取的两种特征融合后输入分类器中,经由模型的分类器完成动作分类识别。测试结果表明,该方法具有较好的应用效果,能够精准识别视频图像中的人体动作情况,判断人体行为。     

The probabilistic peaking effect of viewed angles and distanceswith application to 3-D object recognition

Two novel probabilistic models for viewed angles and distances are derived using an observability sphere method. The method, which is based on the assumption that the prior probability density is isotropic for all viewing orientations, can be used for the computation of observation probabilities for object's aspects, features, and probability densities of their quantitative attributes. Using the sphere, it is discovered that the probability densities of viewed angles, distances, and even projected curvature have sharp peaks at their original values. From this peaking effect, it is concluded that in most cases, the values of angles and distances are being altered only slightly by the imaging process, and they can still serve as a strong cue for model-based recognition. The probabilistic models for 3-D object recognition from monocular images are used. To form the angular elements that are needed, the objects are represented by their linear features and specific points primitives. Using the joint density model of angles and distances, the probabilities of initial matching hypotheses and mutual information coefficients are estimated. These results are then used for object recognition by optimal matching search and stochastic labeling schemes. Various synthetic and real objects are recognized by this approach     

Closing the loop in appearance-guided omnidirectional visual odometry by using vocabulary trees

In this paper, we present a method that allows us to recover the trajectory of a vehicle purely from monocular omnidirectional images very accurately. The method uses a combination of appearance-guided structure from motion and loop closing. The appearance-guided monocular structure-from-motion scheme is used for initial motion estimation. Appearance information is used to correct the rotation estimates computed from feature points only. A place recognition scheme is employed for loop detection, which works with a visual word based approach. Loop closing is done by bundle adjustment minimizing the reprojection error of feature matches. The proposed method is successfully demonstrated on videos from an automotive platform. The experiments show that the use of appearance information leads to superior motion estimates compared to a purely feature based approach. And we demonstrate a working loop closing method which eliminates the residual drift errors of the motion estimation.     

基于多摄像头的会场上座率实时统计方法

会场中座位分布密集,摄像头采集的画面中座位经常受到遮挡,严重影响了上座率统计的准确性.针对这种情况,提出了一种基于多摄像头的会场上座率统计方法.在座位区域的正面和顶部安装摄像头,在两种视角的画面中运用背景差分算法筛选出发生状态变化的座位,有效减低算法复杂度,做到实时计算,然后对座位图像提取HOG特征,利用支持向量机（SVM）进行分类,最后融合两种视角的分类结果,减少遮挡带来的影响,统计得出会场上座率.实际应用结果表明,该方法在保证会场上座率统计实时性基础上,具有很好的鲁棒性和准确性.     

Polyhedral objects identification through the orthographic projection views generation

This paper presents a new method to automatic recognition of polyhedra. Given images taken from different viewpoints of designated polyhedra, algorithms are developed to interpret them as the same object. Based on the heuristic inference of the polyhedral scene regularities and the gradient space analysis, this method will restore the 3-D information of the polyhedra. The 3-D data is used for the generation of the orthographic projection views of the observed object which consist of the top view, the front view, and the side view.     

单目视频中无标记的人体运动跟踪

提出一种人体运动跟踪算法,从无关节标记的单目视频中获取人体运动,利用一个带外观模板的人体关节模型,通过学习得到的运动模型及基于外观模型的相似性计算,巧妙地利用粒子滤波的概率密度传播策略鲁棒地跟踪普通单目视频中的人体运动,当出现跟踪丢失时,能在后续序列中自动恢复正确跟踪,且能较好地处理遮挡和自遮挡问题,实验表明,该算法鲁棒性好,跟踪结果令人满意。     

基于彩色-深度视频和CLDS的手语识别

提出一种基于彩色-深度视频和复线性动态系统(Complex linear dynamic system, CLDS)的手语识别方法,可以保证时序建模数据与原始数据严格对应,准确刻画手语特征,从而显著提高分类精度。利用深度视频补偿RGB视频中的缺失信息,提取手语视频运动边界直方图（Motion boundary histogram, MBH）特征,得到每种行为的特征矩阵。对特征矩阵进行CLDS时序建模,输出能唯一表示该类手语视频的描述符M=(A,C),然后利用子空间角度计算各模型之间的相似度;通过改进的K最近邻（K-nearest neighbors, KNN）算法得到最终分类结果。在中国手语数据集（Chinese sign language, CSL）上的实验表明,本文方法与现有的手语识别方法相比,具有更高的识别率。     

基于加速度特征的可拓动作识别方法

针对基于图像和视频的动作识别系统具有特征采集设备复杂、视角固定和需要采集多视角图像等缺点,提出基于加速度特征的可拓动作识别方法。该方法利用物体向不同方向运动时,其关键部位点的三轴加速度具有一定区分度的特点,结合可拓识别方法,实现动作识别。在构建的手臂动作识别系统中,测得动作识别率可达94.4%。该方法可应用于智能监控、医疗电子等领域。