基于动作图的视角无关动作识别

针对视角无关的动作识别,提出加权字典向量描述方法和动作图识别模型.将视频中的局部兴趣点特征和全局形状描述有机结合,形成加权字典向量的描述方法,该方法既具有兴趣点抗噪声强的优点,又可克服兴趣点无法识别静态动作的缺点.根据运动捕获、点云等三维运动数据构建能量曲线,提取关键姿势,生成基本运动单元,并通过自连接、向前连接和向后连接3种连接方式构成有向图,称为本质图.本质图向各个方向投影,根据节点近邻规则建立的有向图称为动作图.通过Na?ve Bayes训练动作图模型,采用Viterbi算法计算视频与动作图的匹配度,根据最大匹配度标定视频序列.动作图具有多角度投影和投影平滑过渡等特点,因此可识别任意角度、任意运动方向的视频序列.实验结果表明,该算法具有较好的识别效果,可识别单目视频、多目视频和多动作视频.     

共享转换矩阵的胶囊网络及其融合视角特征的跨视角步态识别

步态识别具有非接触性、非侵犯性、易感知等优势,然而,在跨视角的步态识别中,行人的轮廓会随人的视角的变化而不同,从而影响步态识别的性能。为此,提出了共享转换矩阵的胶囊网络及其改进的动态路由算法,从而减少了网络训练参数。在此基础上,通过融合视角特征,利用Triplet损失与Margin损失提出了融合视角特征的跨视角步态识别模型。在CASIA-B数据集上的实验结果表明,使用共享转换矩阵的胶囊网络提取步态特征是有效的,在正常行走、携带背包、穿戴外套条件下,所提融合视角特征的模型在识别准确率上比基于卷积神经网络的跨视角步态识别方法提高了4.13%,且对跨较大视角的步态识别具有更好的性能。     

异常步态3维人体建模和可变视角识别

目的 运用视觉和机器学习方法对步态进行研究已成为当前热点,但多集中在身份识别领域。本文从不同的视角对其进行研究,探讨一种基于点云数据和人体语义特征模型的异常步态3维人体建模和可变视角识别方法。方法 运用非刚性变形和蒙皮方法,构建基于形体和姿态语义特征的参数化3维人体模型;以红外结构光传感器获取的人体异常步态点云数据为观测目标,构建其对应形体和姿态特征的3维人体模型。通过ConvGRU（convolution gated necurrent unit）卷积循环神经网络来提取其投影深度图像的时空特征,并将样本划分为正样本、负样本和自身样本三元组,对异常步态分类器进行训练,以提高分类器对细小差异的鉴别能力。同时对异常步态数据获取难度大和训练视角少的问题,提出了一种基于形体、姿态和视角变换的训练样本扩充方法,以提高模型在面对视角变化时的泛化能力。结果 使用CSU（Central South University）3维异常步态数据库和DHA（depth-included human action video）深度人体行为数据库进行实验,并对比了不同异常步态或行为识别方法的效果。结果表明,本文方法在CSU异常步态库实验中,0°、45°和90°视角下对异常步态的综合检测识别率达到了96.6%,特别是在90°到0°交叉和变换视角实验中,比使用DMHI（difference motion history image）和DMM-CNN（depth motion map-convolutional neural network）等步态动作特征要高出25%以上。在DHA深度人体运动数据库实验中,本文方法识别率接近98%,比DMM等相关算法高出2%~3%。结论 提出的3维异常步态识别方法综合了3维人体先验知识、循环卷积网络的时空特性和虚拟视角样本合成方法的优点,不仅能提高异常步态在面对视角变换时的识别准确性,同时也为3维异常步态检测和识别提供一种新思路。     

基于体感的仿人机器人步态学习与控制

针对现有理想化步态动力学模型规划方法复杂、人为指定参数过多、计算量大的问题,提出一种基于体感数据学习人体步态的仿人机器人步态生成方法。首先,用体感设备收集人体骨骼信息,基于最小二乘拟合方法建立人体关节局部坐标系;其次,搭建人体与机器人映射的运动学模型,根据两者间主要关节映射关系,生成机器人关节转角轨迹,实现机器人对人类行走姿态的学习;然后,基于零力矩点(ZMP)稳定性原则,对机器人脚踝关节转角采用梯度下降算法进行优化控制;最后,在步态稳定性分析上,提出使用安全系数来评价机器人行走稳定程度的方法。实验结果表明,步行过程中安全系数保持在0~0.85,期望为0.4825,ZMP接近于稳定区域中心,机器人实现了仿人姿态的稳定行走,证明了该方法的有效性。     

基于CNN与双向LSTM的行为识别算法

针对传统行为识别依赖手工提取特征,智能化程度不高,识别精度低的问题,提出一种基于3D骨骼数据的卷积神经网络(CNN)与双向长短期记忆网络(Bi-LSTM)的混合模型。使用3D骨骼数据作为网络输入,CNN提取每个时间步的3D输入数据间的空间特征,Bi-LSTM更深层地提取3D数据序列的时间特征。该混合模型自动提取特征完成分类,实现骨骼数据到识别结果的端对端学习。在UTKinect-Action3D标准数据集上,模型的识别率达到97.5%,在自制Kinect数据集上的准确率达到98.6%,实验结果表明,该网络有效提高了分类准确率,具备可用性和有效性。     

采用不变矩傅氏级数表示的步态识别

步态作为唯一具备远距离识别能力的生物测量特征已经受到广泛的关注。步态序列包含人行走的静态和动态信息,综合利用这两方面信息是提高识别性能的关键。为了综合利用人行走的静态和动态信息来提高识别能力,提出了一种用步态的不变矩傅氏级数系数的幅值作为识别特征的步态识别方法。因为不变矩描述了人运动的静态信息,其在整个步态周期提取的特征则蕴含了人运动的动态信息,所以将不变矩作为识别特征用于步态识别。该方法首先计算每帧图像的不变矩;然后采用傅里叶级数来拟合整个不变矩系数序列,并用遗传算法搜索傅里叶级数系数;接着将这些系数的幅值表示为用于分类的特征向量;最后再用k近邻分类器对特征向量进行分类。通过对CMU步态数据库中的4种步态分别进行的实验结果表明,该方法对单独的矩可取得80%以上的识别率,而对级联的矩识别率则可达到90%以上。另外,该方法对部分遮挡也具有鲁棒性。实验结果和性能分析表明,这种结合静态和动态信息的识别方法是有效的。     

基于双特征匹配层融合的步态识别方法

步态识别是根据人类走路的姿态来进行远距离的身份识别。针对轮廓不完整的图 像和关键帧容易造成部分信息丢失而引起的识别率下降问题,提出一种基于双特征匹配层融合 的步态识别方法。步态既有静态图像特征,又有动态速度变化特征,因此本文提出用匹配层融 合方法将静态的 Hu 矩 6 个不变矩特征和动态的帧差百分比特征融合后进行步态身份识别。首 先对一个周期内的归一化步态图像进行 Hu 矩特征以及帧差百分比的特征提取,将 Hu 矩 6 个不 变矩特征描述成一个特征向量,然后运用匹配层融合算法对 2 个特征进行融合;最后使用 K 近 邻分类器进行身份识别。实验表明,该方法较单一方法能够有效地提高步态识别正确率。     

不变矩系数拟合的步态识别

根据综合利用步态的静态和动态信息的思想，结合不变矩描述图像几何特性的功能，从步态序列提取不变矩作为步态特征进行识别。采用傅立叶级数描述步态图像序列人体轮廓不变矩的变化，利用遗传算法搜索傅立叶级数的系数，最后再用k近邻分类器对不变矩变化的幅度信息分类。在CMU步态数据库上进行的实验，达到了90%以上的识别率。结果表明，该方法具备很高识别性能，能较好地利用步态的静态和动态信息。     

融合宽残差和长短时记忆网络的动态手势识别研究

针对现有的动态手势识别方法对长时间序列的时空特征难以精确匹配的问题,提出了一种基于宽残差和双向长短时记忆网络的时空特征一致手势识别方法。首先使用已经训练好的3D卷积神经网络从视频的空间和时间维度同步提取出短时特征,再经双向空间长短时记忆网络同步解析后形成长时空特征连接单元,并作为残差网络的输入。为了验证算法的有效性,使用Kinect传感器构建了一个全新的多模式手势数据集,在三个手势识别公开数据集SLVM、Montalbano和SKIG上的实验表明,提出的方法有很好的性能表现,识别精度超越了目前已公开的最佳识别率。     

View-invariant Gait Authentication Based on Silhouette Contours Analysis and View Estimation

In this paper, we propose a novel view-invariant gait authentication method based on silhouette contours analysis and view estimation. The approach extracts Lucas-Kanade based gait flow image and head and shoulder mean shape (LKGFI-HSMS) of a human by using the Lucas-Kanade's method and procrustes shape analysis (PSA). LKGFI-HSMS can preserve the dynamic and static features of a gait sequence. The view between a person and a camera is identified for selecting the target's gait feature to overcome view variations. The similarity scores of LKGFI and HSMS are calculated. The product rule combines the two similarity scores to further improve the discrimination power of extracted features. Experimental results demonstrate that the proposed approach is robust to view variations and has a high authentication rate.      

双视角下多特征信息融合的步态识别

针对步态识别研究中单视角识别率低、多视角算法复杂等问题,开展了双视角下的步态识别研究.考察正面视角人体的轮廓特征和侧面视角人体行走的动态特征,利用多视角步态信息互补性强的特点,分别从正面视角和侧面视角获取步态序列,预处理得到单连通人体轮廓图形,然后对正面视角提取Procrustes均值形状,侧面视角计算动作能量图(AEI)并经二维局部保留映射(2D LPP)降维,最后将2个视角下的识别结果进行融合从而获得最终的识别结果.在中科院自动化所的DatasetB数据库上进行了实验,获得了较高的识别率,达到了预期的识别效果.     

基于双分支时空步态特征融合的深度学习步态识别

针对现有步态识别方法易受拍摄视角、着装变化影响的问题,提出一种融合二维无肩姿态拓扑能量图(shoulderless pose topological energy maps, SPTEM)和三维局部骨骼步态特征(local skeleton gait features, LSGF)的深度学习步态识别方法.首先,利用轻量级BlazePose姿态估计算法提取步态视频序列中的人体姿态拓扑图以生成SPTEM,在提高检测速度的同时减弱衣物变化带来的影响;然后,引入LSGF以弥补单一能量图特征在多变视角情况下识别准确率较低的不足;最后,提出结合注意力机制的时空特征提取网络模型,并在全连接层将双流特征进行一致融合.在CASIA-B数据集上对所提出方法进行验证,并与当前主流的步态识别方法进行比较,结果表明,所提出方法在跨视角和穿大衣/棉衣条件下的步态识别率都有明显提升.     

姿态特征结合2维傅里叶变换的步态识别

目的 针对现有步态识别方法易受携带物品、衣服变化等影响的问题,提出了将无肩姿态能量图、步态参数等姿态特征与步态参数的2维傅里叶变换相结合的步态识别算法。方法 基于姿态关节点序列提出忽略肩膀宽度信息的无肩姿态能量图,用以减弱衣服变化的影响;由于下肢受衣物及背包影响较小,提取3个或3个以上的下肢关节点局部结构参数,即提取中臀点与左右膝关节点、中臀点与左右踝关节点构成的两个三角形面积以及所有下肢关节点构成的多边形面积作为步态参数,增强下肢参数在步态识别中的作用;人在行走时,单肢体的运动具有一定的周期性,且肢体之间运动具有一定的协调性,用步态参数的2维幅度谱来表示单肢体运动的周期性与肢体之间运动的协调性,以提高步态参数的可区别性;在现有典型步态特征的基础上,融合本文提出的无肩姿态能量图、步态参数及其2维傅里叶变换幅度谱,采用多特征表示步态的方法,充分利用各特征的优点,提出加权平均与最大池化相结合的两层分数融合策略进行步态识别,提高了步态识别算法在携带物品、衣服变化和跨视角等条件下的正确率。结果 实验结果表明,在中国科学院自动化研究所发布的步态数据集CASIA-B上,本文方法在相同视角条件下,正常状态、背包状态和穿大衣状态的平均识别率分别为99.56%、99.23%和94.25%;在跨视角条件下,正常状态、背包状态和穿大衣状态的平均识别率分别为91.32%、85.34%和69.51%。与典型算法相比,穿大衣状态的识别率有显著提升。结论 本文方法采用加权平均与最大池化相结合的两层分数融合策略,综合利用各特征的优点及其适用场景,有效提高了步态识别的准确率,特别是减弱了衣服厚度、样式等变化对步态识别的影响。     

Gait-based person identification using 3D LiDAR and long short-term memory deep networks

Gait recognition is one measure of biometrics, which also includes facial, fingerprint, and retina recognition. Although most biometric methods require direct contact between a device and a subject, gait recognition has unique characteristics whereby interaction with the subjects is not required and can be performed from a distance. Cameras are commonly used for gait recognition, and a number of researchers have used depth information obtained using an RGB-D camera, such as the Microsoft Kinect. Although depth-based gait recognition has advantages, such as robustness against light conditions or appearance variations, there are also limitations. For instance, the RGB-D camera cannot be used outdoors and the measurement distance is limited to approximately 10 meters. The present paper describes a long short-term memory-based method for gait recognition using a real-time multi-line LiDAR. Very few studies have dealt with LiDAR-based gait recognition, and the present study is the first attempt that combines LiDAR data and long short-term memory for gait recognition and focuses on dealing with different appearances. We collect the first gait recognition dataset that consists of time-series range data for 30 people with clothing variations and show the effectiveness of the proposed approach.     

A cascade fusion scheme for gait and cumulative foot pressure image recognition

Cumulative foot pressure images represent the 2D ground reaction force during one gait cycle. Biomedical and forensic studies show that humans can be distinguished by unique limb movement patterns and ground reaction force. Considering continuous gait pose images and corresponding cumulative foot pressure images, this paper presents a cascade fusion scheme to represent the potential connections between them and proposes a two-modality fusion based recognition system. The proposed scheme contains two stages: (1) given cumulative foot pressure images, canonical correlation analysis is employed to retrieve corresponding gait pose image candidates in gallery dataset; (2) pedestrian recognition is achieved via small samples matching between retrieved gait pose images and unlabeled ones. The proposed fusion recognition system is not only insensitive to slight changes of environment and the individual users, but also can be extended to multiple biometrics retrieval. Experimental results are conducted on the CASIA gait–footprint dataset, which contains cumulative foot pressure images and its corresponding gait pose image sequence from 88 subjects. Evaluation results suggest the effectiveness of the proposed scheme compared to other related approaches.     

多视角步态识别综述

步态识别作为生物特征识别中的一种，具有远距离、非接触和难以模仿等优点.其中视角或行走方向的变化使提取的人体轮廓产生巨大差异，是影响步态识别系统性能的最主要因素之一.本文首先介绍了现有的多角度步态数据库，然后根据特征提取方式的不同，将当前已提出的方法分为三维模型法、视角不变性特征法、映射投影法和深度神经网络法四类，并详细阐述了每一类的原理、特点以及优缺点.最后，结合实际应用指出当前研究的局限性与发展趋势.     

基于3D卷积神经网络的动态手势识别

传统的2D卷积神经网络在进行视频识别时容易丢失目标在时间维度上的相关特征信息,导致识别准确率降低。针对该问题,本文采用3D卷积网络作为基本的网络框架,使用3D卷积核进行卷积操作提取视频中的时空特征,同时集成多个3D卷积神经网络模型对动态手势进行识别。为了提高模型的收敛速度和训练的稳定性,运用批量归一化（BN）技术优化网络,使优化后的网络训练时间缩短。实验结果表明,本文方法对于动态手势的识别具有较好的识别结果,在Sheffield Kinect Gesture (SKIG)数据集上识别准确率达到98.06%。与单独使用RGB信息、深度信息以及传统2D CNN相比,手势识别率均有所提高,验证了本文方法的可行性和有效性。     

基于深度数据的人体动作识别方法

本文提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。本文从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,本文利用Lapacian eigenmaps(LE)流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,本文用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。本文用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时本文也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文识别效果优于以往方法。实验结果表明本文所提的方法适用于基于深度图像序列的人体动作识别。     

基于生成对抗网络的跨视角步态特征提取

步态是一种能够在远距离、非侵犯的条件下识别身份的生物特征,但在实际场景中,步态很容易受到拍摄视角、行走环境、物体遮挡、着装等因素的影响.在跨视角识别问题上,现有方法只注重将多种视角的步态模板转化到固定视角下,且视角跨度的增大加深了错误的累积.为了提取有效的步态特征用于跨视角步态识别,本文提出了一种基于生成对抗网络的跨视角步态特征提取方法,该方法只需训练一个模型即可将步态模板转换到任意视角下的正常行走状态,并最大化地保留原本的身份特征信息,从而提高步态识别的准确率.在CASIA-B和OUMVLP数据集上的实验结果表明,该方法在解决跨视角步态识别问题上具有一定的鲁棒性和可行性.     

动静态信息融合及动态贝叶斯网络的步态识别

步态是远距离视频监控领域最具潜力的生物特征。目前对步态的识别研究大都是考虑单一条件下步态的识别率,但在穿外套、背包等混合条件下识别率较低,通过分析人体行走时步态的时序特征,提出一种基于动静态信息相结合的多信息融合的动态贝叶斯网络(DSIF-DBN)。模型含有3层状态,模型中每个时间片都为静态信息和动态信息的融合。此模型能很好地表达步态的时序特性,即步态行走时人体姿态,运动幅度等特征的节奏性变化。实验结果表明该方法有较高的识别率,能有机地融合步态的静态信息及动态信息,并且在有噪声及信息缺失的情况下有较好的鲁棒性,大大降低了外套及背包对步态识别的影响。