基于三维时空直方图特征的人体行为识别

提出一种基于三维时空直方图特征的人体行为识别方法。通过引入时间维度构建三维时空概念,探索时空中梯度方向信息,由梯度方向经过空间中不同的区域形成梯度直方图,获取时空特征矩阵,结合K均值聚类提取时空直方图特征来描述人体行为;采用图像显著性检测算法,获取人体行为轮廓,从轮廓图中提取二维轮廓特征;将获得的特征输入支持向量机进行训练以及人体行为识别。实验结果表明,相比其它特征描述的方法,该方案对人体行为的特征描述更丰富,识别准确率更高。     

基于中层时空特征的人体行为识别

目的 人体行为识别是计算机视觉领域的一个重要研究课题,具有广泛的应用前景.针对局部时空特征和全局时空特征在行为识别问题中的局限性,提出一种新颖、有效的人体行为中层时空特征.方法 该特征通过描述视频中时空兴趣点邻域内局部特征的结构化分布,增强时空兴趣点的行为鉴别能力,同时,避免对人体行为的全局描述,能够灵活地适应行为的类内变化.使用互信息度量中层时空特征与行为类别的相关性,将视频识别为与之具有最大互信息的行为类别.结果 实验结果表明,本文的中层时空特征在行为识别准确率上优于基于局部时空特征的方法和其他方法,在KTH数据集和日常生活行为(ADL)数据集上分别达到了96.3%和98.0%的识别准确率.结论 本文的中层时空特征通过利用局部特征的时空分布信息,显著增强了行为鉴别能力,能够有效地识别多种复杂人体行为.     

深度时空能量特征表示下的人体行为识别

目的 利用深度图序列进行人体行为识别是机器视觉和人工智能中的一个重要研究领域,现有研究中存在深度图序列冗余信息过多以及生成的特征图中时序信息缺失等问题。针对深度图序列中冗余信息过多的问题,提出一种关键帧算法,该算法提高了人体行为识别算法的运算效率;针对时序信息缺失的问题,提出了一种新的深度图序列特征表示方法,即深度时空能量图（depth spatial-temporal energy map,DSTEM）,该算法突出了人体行为特征的时序性。方法 关键帧算法根据差分图像序列的冗余系数剔除深度图序列的冗余帧,得到足以表述人体行为的关键帧序列。DSTEM算法根据人体外形及运动特点建立能量场,获得人体能量信息,再将能量信息投影到3个正交轴获得DSTEM。结果 在MSR_Action3D数据集上的实验结果表明,关键帧算法减少冗余量,各算法在关键帧算法处理后运算效率提高了20% 30%。对DSTEM提取的方向梯度直方图（histogram of oriented gradient,HOG）特征,不仅在只有正序行为的数据库上识别准确率达到95.54%,而且在同时具有正序和反序行为的数据库上也能保持82.14%的识别准确率。结论 关键帧算法减少了深度图序列中的冗余信息,提高了特征图提取速率;DSTEM不仅保留了经过能量场突出的人体行为的空间信息,而且完整地记录了人体行为的时序信息,在带有时序信息的行为数据上依然保持较高的识别准确率。     

基于局部邻域像素的快速时空特征点检测方法

针对时空特征点检测算法计算效率较低和特征点冗余度较大的问题,提出一种基于邻域像素的快速时空特征点检测方法。通过寻找三维时空中局部邻域内像素值差异较大的点以快速定位时空特征点,然后采用非极大值抑制的方法剔除其中的冗余点,将筛选后的时空特征点用于人体行为识别。此外,还根据二项分布原理研究特征点检测中邻域像素分割阈值的取值范围及其它检测参数优化问题。实验结果表明该算法具有较高的检测速度,既能稳定提取足够数量的特征点又能降低其冗余度,在行为识别中也保持较高的准确率。     

基于注意力机制的3D DenseNet人体动作识别方法

传统人体动作识别算法无法充分利用视频中人体动作的时空信息,且识别准确率较低。提出一种新的三维密集卷积网络人体动作识别方法。将双流网络作为基本框架,在空间网络中运用添加注意力机制的三维密集网络提取视频中动作的表观信息特征,结合时间网络对连续视频序列运动光流的运动信息进行特征提取,经过时空特征和分类层的融合后得到最终的动作识别结果。同时为更准确地提取特征并对时空网络之间的相互作用进行建模,在双流网络之间加入跨流连接对时空网络进行卷积层的特征融合。在UCF101和HMDB51数据集上的实验结果表明,该模型识别准确率分别为94.52%和69.64%,能够充分利用视频中的时空信息,并提取运动的关键信息。     

基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示

为提高足球比赛视频中的多运动员行为识别的准确率,提出一种基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示方法,利用时空兴趣点来表示足球比赛视频中的多运动员行为。首先将足球比赛视频序列中的多运动员行为看作是三维空间中的时空兴趣点的集合,然后采用直方图量化技术将时空兴趣点集合量化为维数固定的直方图（即时空单词）,最后采用K-means聚类算法生成时空码本。在聚类生成码本之前,对每个时空兴趣点都进行了归一化,以保证其缩放和平移不变性。实验结果表明,该方法能够大大减少足球比赛视频中的多运动员行为识别算法的计算量,显著提高识别的准确率。     

基于改进时空兴趣点特征的双人交互行为识别

针对实际监控视频下双人交互行为的兴趣点特征选取不理想,且聚类词典中冗余单词导致识别率不高的问题,提出一种基于改进时空兴趣点（STIP）特征的交互行为识别方法。首先,引入基于信息熵的不可跟踪性检测方法,对序列图像进行跟踪得到交互动作的前景运动区域,仅在此区域内提取时空兴趣点以提高兴趣点检测的准确性。其次采用3维尺度不变特性转换（3D-SIFT）描述子对检测得到的兴趣点进行表述,利用改进的模糊C均值聚类方法得到视觉词典,以提升词典的分布特性;在此基础上建立词袋模型,即将训练集样本向词典进行投影得到每帧图像的直方图统计特征表示。最后,采用帧帧最近邻分类方法进行双人交互动作识别。在UT-interaction数据库上进行测试,该算法得到了91.7%的正确识别率。实验结果表明,通过不可跟踪性检测得到的时空兴趣点的改进词袋算法可以较大程度提高交互行为识别的准确率,并且适用于动态背景下的双人交互行为识别。     

实时三维人脸特征点定位

为了能够自动、实时地标定三维人脸曲面上主要特征点的位置,如鼻尖点和内眼点等,提出一种实时定位三维人脸特征点的算法.首先设计了一种基于曲面划分、直方图统计的三维局部曲面描述子——球划分直方图描述子,并使用该描述子逐点提取三维曲面顶点的局部曲面信息;其次计算其相似度,以定位三维人脸曲面上的主要特征点;在采用GPU并行运算后,能够有效地对三维人脸特征点进行实时定位.在三维人脸数据库FRGC v1.0以及BU-3DFE中的实验结果表明,与其他算法相比,该算法在三维人脸曲面上具有较强的三维人脸特征点定位能力.     

三维纹理图像特征准确识别技术仿真研究

研究场景构建中纹理图像的三维特征识别,提高识别准确率。由于图像的效果取决于纹理识别,在三维空间中分析纹理图像时,仅使用聚类算法利用三维图像的空间坐标和三维像素灰度特征对其进行分类识别,忽略了不同方向光照对纹理图像的影响而简单聚类分类,导致因提取的特征信息不足而造成识别准确率不高的问题。因此,提出了一种机器学习的三维特征识别方法。通过变换光照的角度得到不同光照下的纹理图像,提取出多面光照下的三维图像特征信息,并利用机器学习算法对特征信息进行准确训练和分类识别,可避免聚类算法利用信息不足的特征进行分类而造成的识别准确率不高的问题。实验表明,这种方法能够有效提取出特征信息并进行准确分类,具有较高的识别准确率,取得了满意的结果。     

基于词包和特征融合的目标识别算法

针对现有词包模型对目标识别性能的不足,对特征提取、图像表示等方面进行改进以提高目标识别的准确率。首先,以密集提取关键点的方式取代SIFT关键点提取,减少了计算时间并最大程度地描述了图像底层信息。然后采用尺度不变特征变换(Scale-invariant feature transform, SIFT)描述符和统一模式的局部二值模式(Local binary pattern,LBP)描述符描述关键点周围的形状特征和纹理特征,引入K-Means聚类算法分别生成视觉词典,然后将局部描述符进行近似局部约束线性编码,并进行最大值特征汇聚。分别采用空间金字塔匹配生成具有空间信息的直方图,最后将金字塔直方图相串联,形成特征的图像级融合,并送入SVM进行分类识别。在公共数据库中进行实验,实验结果表明,本文所提方法能取得较高的目标识别准确率。     

RGBD人体行为识别中的自适应特征选择方法

目前在RGBD视频的行为识别中,为了提高识别准确率,许多方法采用多特征融合的方式。通过实验分析发现,行为在特定特征上的分类效果好,但是多特征融合并不能体现个别特征的分类优势,同时融合后的特征维度很高,时空开销大。为了解决这个问题,提出了RGBD人体行为识别中的自适应特征选择方法,通过随机森林和信息熵分析人体关节点判别力,以高判别力的人体关节点的数量作为特征选择的标准。通过该数量阈值的筛选,选择关节点特征或者关节点相对位置作为行为识别特征。实验结果表明,该方法相比于特征融合的算法,行为识别的准确率有了较大提高,超过了大部分算法的识别结果。     

基于选择性集成旋转森林的人体行为识别算法*

人体行为识别中的一个关键问题是如何表示高维的人体动作和构建精确稳定的人体分类模型.文中提出有效的基于混合特征的人体行为识别算法.该算法融合基于外观结构的人体重要关节点极坐标特征和基于光流的运动特征,可更有效获取视频序列中的运动信息,提高识别即时性.同时提出基于帧的选择性集成旋转森林分类模型(SERF),有效地将选择性集成策略融入到旋转森林基分类器的选择中,从而增加基分类器之间的差异性.实验表明SERF模型具有较高的分类精度和较强的鲁棒性.     

局部证据RBF人体行为高层特征自相似融合识别研究

针对传统人体动作识别算法,往往重点解决某一类行为识别,不具有通用性的问题,提出一种局部证据RBF人体行为高层特征自相似融合识别算法。首先,借用随时间变化的广义自相似性概念,利用时空兴趣点光流场局部特征提取方法,构建基于自相似矩阵的人体行为局部特征描述;其次,在使用SVM算法进行独立个体行为识别后,利用所提出的证据理论RBF（Radial Basis Function）高层特征融合,实现分类结构优化,从而提高分类准确度;仿真实验表明,所提方案能够明显提高人体行为识别算法效率和识别准确率。     

基于词袋模型的人体动作识别方法

传统词袋模型构建的词典不稳定，且忽略词向量先后顺序，在用其进行人体动作识别时，识别效果不稳定，尤其对倒序动作识别效果不佳。针对这些问题，提出一种基于时空联合频率直方图实现动作分类的方法。提取肢体关键角度信息，把关键角度的帧间差值作为时间特征描述子；构建稳定的时间词袋与空间词袋，利用其联合频率直方图表示动作序列，增强动作时间特性；利用支持向量机(SVM)实现动作分类。在一个具有挑战性的数据集-UTKinect数据集上进行实验，结果表明，相比于传统词袋模型与一些已有方法，该方法能够有效提高动作识别的准确率。     

基于三维残差稠密网络的人体行为识别算法

针对现有的人体行为识别算法不能充分利用网络多层次时空信息的问题,提出了一种基于三维残差稠密网络的人体行为识别算法。首先,所提算法使用三维残差稠密块作为网络的基础模块,模块通过稠密连接的卷积层提取人体行为的层级特征;其次,经过局部特征聚合自适应方法来学习人体行为的局部稠密特征;然后,应用残差连接模块来促进特征信息流动以及减轻训练的难度;最后,通过级联多个三维残差稠密块实现网络多层局部特征提取,并使用全局特征聚合自适应方法学习所有网络层的特征用以实现人体行为识别。设计的网络算法在结构上增强了对网络多层次时空特征的提取,充分利用局部和全局特征聚合学习到更具辨识力的特征,增强了模型的表达能力。在基准数据集KTH和UCF-101上的大量实验结果表明,所提算法的识别率（top-1精度）分别达到了93.52％和57.35％,与三维卷积神经网络（C3D）算法相比分别提升了3.93和13.91个百分点。所提算法框架有较好的鲁棒性和迁移学习能力,能够有效地处理多种视频行为识别任务。     

机器视觉感知三维图像中的人体行为识别算法

研究机器视觉感知中的人体行为准确识别问题.机器视觉感知中,采集的信息多为二维平面信息,在合成三维图像感知信息过程中,传统的因式分解合成法运用形状基数量固定,很难表达复杂行为特征,造成行为特征会出现一定的偏差,人体行为识别准确性不高.为了避免上述缺陷,提出了一种新的机器视觉感知中的人体三维行为识别算法.采集人体行为图像,并检测图像的轮廓区域,对检测区间间隙初始划分,通过把三维不定特征在三维空间进行空间映射,完成模糊性的消除,为人体三维行为识别提供数据基础.根据提取的消除模糊性后的人体三维行作为特征分量,对人体三维行为进行识别.实验结果表明,利用这种算法进行人体三维行为识别,能够准确的识别人体的行为,极大地提高了人体行为识别的准确率.     

基于PE-Cuboid特征的人体行为识别算法

为了克服单纯使用局部时空兴趣点(spatial-temporal interest point,STIP)的方法在对视频序列中人体行为进行识别时提取的特征点太少,且其不能完整的表征图像的特征,提出一种结合局部特征和全局特征的特征描述子PE-Cuboid,能有效的提高人体行为识别的正确率。对每一个视频序列提取PE-Cuboid特征,利用像素变化概率图(PCRM)和边缘方向直方图(EOH)捕捉全局运动信息,局部的Cuboid描述子对全局特征做进一步区分,对最终生成的PE-Cuboid特征进行K-means聚类形成视觉词汇本(visual dictionary),将视觉词汇本输入到线性SVM分类器(linear Support Vector Machines,LSVM)中进行学习、训练、分类,最后采用打分的机制得到行为类别。该文算法在KTH、Weizmann行为数据库和我们自拍测试集中都做了测试,实验结果显示算法具有较高的识别率。     

基于骨架关键关节构建时空金字塔模型的人体行为识别

针对当前骨骼数据信噪比低及特征信息不足的问题,提出人体关键关节构建时空金字塔模型的动作识别方法。该算法利用人体骨架关键关节构建空间域金字塔特征,保留骨架铰链系统的空间结构;利用多层级叠加协方差,构建时序金字塔特征,解决需要预处理视频序列长度的问题。在MSR-Action3D和UTKinect数据集上的实验结果表明,该方法准确率高、实时性好,可广泛应用于行为识别的各个领域。     

基于时空深度特征的人体行为识别算法

针对底层局部时空特征数量少以及中层特征表达能力弱的问题,结合时空深度特征,提出一种人体行为识别算法。依据运动剧烈区域在行为识别中提供更多判别信息的思想,利用视频图像的深度信息确定人体运动显著性区域,通过计算区域内光流特征作为度量区域活跃度的能量函数,依据能量函数对运动显著性区域进行高斯取样,使样本点分布于运动剧烈区域。将采集到的样本点作为动作底层特征描述人体行为,结合词袋模型,采用支持向量机分类器对行为进行识别。实验结果表明,在SwustDepth数据集中,基于时空深度特征的人体行为识别算法的平均行为识别准确率达到92%,且具有较高的鲁棒性。     

一种新的图像空间特征提取方法

提出一种新的图像空间特征提取方法,采用基于颜色向量角和Euclid距离的CCVAE算法,检测原始图像的彩色边缘,分别对边缘像素、非边缘像素建立边缘直方图描述子和空间颜色直方图,描述颜色分布信息。仿真实验结果表明,该方法具有较高的准确率和召 回率。