融合自注意力机制的生成对抗网络跨视角步态识别

目的 针对目前基于生成式的步态识别方法采用特定视角的步态模板转换、识别率随视角跨度增大而不断下降的问题,本文提出融合自注意力机制的生成对抗网络的跨视角步态识别方法。方法 该方法的网络结构由生成器、视角判别器和身份保持器构成,建立可实现任意视角间步态转换的网络模型。生成网络采用编码器—解码器结构将输入的步态特征和视角指示器连接,进而实现不同视角域的转换,并通过对抗训练和像素级损失使生成的目标视角步态模板与真实的步态模板相似。在判别网络中,利用视角判别器来约束生成视角与目标视角相一致,并使用联合困难三元组损失的身份保持器以最大化保留输入模板的身份信息。同时,在生成网络和判别网络中加入自注意力机制,以捕捉特征的全局依赖关系,从而提高生成图像的质量,并引入谱规范化使网络稳定训练。结果 在CASIA-B(Chinese Academy of Sciences’ Institute of Automation gait database——dataset B)和OU-MVLP(OU-ISIR gait database-multi-view large population dataset)数据集上进行实验,当引入自注意力模块和身份保留损失训练网络时,在CASIA-B数据集上的识别率有显著提升,平均rank-1准确率比GaitGAN(gait generative adversarial network)方法高15%。所提方法在OU-MVLP大规模的跨视角步态数据库中仍具有较好的适用性,可以达到65.9%的平均识别精度。结论 本文方法提升了生成步态模板的质量,提取的视角不变特征更具判别力,识别精度较现有方法有一定提升,能较好地解决跨视角步态识别问题。     

基于双通道循环一致性GAN的跨视角步态识别研究

步态识别系统在生物识别领域显示出巨大的潜力,然而步态识别的准确性很容易受到视角的影响。为解决这一问题,提出的方法基于循环生成对抗网络(cycle generative adversarial network, Cycle-GAN)的网络结构,结合新的特征提取模块以及多重损失函数,提出了一种用于跨视角步态识别的网络模型双通道循环一致性生成对抗网络(two-channel cycle consistency generative adversarial network, TCC-GAN)。该网络首先将步态能量图像从任意视角转换为目标视角图像,然后进行比对从而实现身份识别。TCC-GAN分别引入了重建损失、视角分类和身份保持损失来指导生成器生成具有目标视角的步态图像并同时保留身份信息。为了避免可能存在的模式崩塌问题,并保证各个输入和输出以有意义的方式进行映射,模型中还利用了循环一致性损失。数据集CASIA-B和OU-MVLP上的实验结果表明:所提TCC-GAN模型的跨视角识别率高于目前大多数其他基于GAN的跨视角步态识别模型。     

共享转换矩阵的胶囊网络及其融合视角特征的跨视角步态识别

步态识别具有非接触性、非侵犯性、易感知等优势,然而,在跨视角的步态识别中,行人的轮廓会随人的视角的变化而不同,从而影响步态识别的性能。为此,提出了共享转换矩阵的胶囊网络及其改进的动态路由算法,从而减少了网络训练参数。在此基础上,通过融合视角特征,利用Triplet损失与Margin损失提出了融合视角特征的跨视角步态识别模型。在CASIA-B数据集上的实验结果表明,使用共享转换矩阵的胶囊网络提取步态特征是有效的,在正常行走、携带背包、穿戴外套条件下,所提融合视角特征的模型在识别准确率上比基于卷积神经网络的跨视角步态识别方法提高了4.13%,且对跨较大视角的步态识别具有更好的性能。     

双分支特征融合网络的步态识别算法

目的 在步态识别算法中,基于外观的方法准确率高且易于实施,但对外观变化敏感;基于模型的方法对外观变化更加鲁棒,但建模困难且准确率较低。为了使步态识别算法在获得高准确率的同时对外观变化具有更好的鲁棒性,提出了一种双分支网络融合外观特征和姿态特征,以结合两种方法的优点。方法 双分支网络模型包含外观和姿态两条分支,外观分支采用GaitSet网络从轮廓图像中提取外观特征;姿态分支采用5层卷积网络从姿态骨架中提取姿态特征。在此基础上构建特征融合模块,融合外观特征和姿态特征,并引入通道注意力机制实现任意尺寸的特征融合,设计的模块结构使其能够在融合过程中抑制特征中的噪声。最后将融合后的步态特征应用于识别行人身份。结果 实验在CASIA-B （Institute of Automation,Chinese Academy of Sciences,Gait Dataset B）数据集上通过跨视角和不同行走状态两种实验设置与目前主流的步态识别算法进行对比,并以Rank-1准确率作为评价指标。在跨视角实验设置的MT （medium-sample training）划分中,该算法在3种行走状态下的准确率分别为93.4%、84.8%和70.9%,相比性能第2的算法分别提升了1.4%、0.5%和8.4%;在不同行走状态实验设置中,该算法在两种行走状态下的准确率分别为94.9%和90.0%,获得了最佳性能。结论 在能够同时获取外观数据和姿态数据的场景下,该算法能够有效地融合外观信息和姿态信息,在获得更丰富的步态特征的同时降低了外观变化对步态特征的影响,提高了步态识别的性能。     

结合注意力卷积网络与分块特征的步态识别

目前深度学习算法已经广泛应用于步态识别领域,但是大多数现有方法通过卷积神经网络提取步态全局特征时,忽略了许多包含关键步态信息的局部特征,在一定程度上削弱了步态识别的精度和提升潜力。针对上述问题,提出了一种结合注意力卷积神经网络与分块特征的跨视角步态识别方法,该方法以步态轮廓图序列为输入,每帧图片分别经过相同结构的注意力卷积神经网络融合成整体特征,在网络中加入有效的注意力机制CBAM能显式地建模各空间及通道的重要程度,增大显著区域特征的权重;整体特征被水平分成两块进行训练和步态识别,提取的步态局部特征更适合精细的步态分类。在步态数据集CASIA-B和OU-ISIR-MVLP上进行跨视角步态识别实验,结果证明在训练数据集充足与不足的条件下,该方法在识别精度上均优于现有方法。     

面向多人多生物属性的跨视角步态追踪系统

步态识别是一项新兴的生物识别技术, 可以被广泛地应用在刑事安防, 疫情传播链追踪等领域, 该项技术的本质在于通过人的人体体型和行走姿态来识别人的身份, 年龄, 性别等多种生物属性. 相比其他生物识别技术, 步态识别具有远距离, 全视角, 无感知, 防伪装等显著优势. 基于此, 本文设计了一款面向多人多生物属性的跨视角步态追踪系统, 该系统充分考虑了现实应用场景中存在的多人, 跨视角, 服饰变化等协变量对于步态识别准确率的影响, 并通过更加鲁棒的算法设计从复杂的环境中提取行人的步态信息从而对其身份, 年龄, 性别等生物属性进行准确的分析. 实验结果表明, 在跨视角和多种行走状态的情况下, 本系统中基于深度学习的步态识别算法模型的准确率可以达到88.0%, 在多视角的情况下, 性别分类准确率可以达到94.8%, 年龄估计的平均年龄误差约为7.92岁, 标准差约为8.11, 实验结果均优于近年来相关领域的算法, 达到相对领先的水平. 同时系统开发成本低, 面向落地应用场景, 并支持实时性步态检测.     

基于SEF-GHEI及协同表示的步态识别研究

将协同表示方法应用于步态识别中可以解决稀疏表示方法计算耗时的问题,但提取步态特征采用的GEI算法没有考虑步态内部轮廓边界信息,导致识别率不高。针对此问题,本文提出使用融合Hog和GEI算法的方法提取步态特征,在此基础上使用协同表示的方法训练,再通过计算测试样本的最小重构误差进行分类。实验结果表明,该方法在单一视角下步态识别准确率平均提高了1.315%,以及跨视角下步态识别准确率平均提高了6.51%,说明本方法是可行的。     

基于列质量向量和SVM的步态识别

步态识别是根据人行走的方式来识别其身份,以其特有的优势作为一种身份识别手段。为了提高步态的识别率,提出了一种新方法,使用人体轮廓列质量向量表征特征信息,并使用支持向量机进行识别。根据人体轮廓的高度和宽度计算出步态周期,提取每个步态轮廓列质量向量,最后采用支持向量机进行分类识别。为了验证所提出方法的有效性,在CASIA步态数据库上进行了充足的实验,验证了该方法具有较高的识别率。     

远距离人体步态识别算法的研究

步态识别是一种新的生物特征识别技术,它旨在根据人们走路的姿势进行身份识别。本文就远距离人体识别算法以及步态识别所涉及到的运动分割,特征提取,模式识别进行了研究,给出了实验图像。特别对基于模型的步态特征识别和基于人体行走的步态序列特征进行识别两种方法进行了比较和分析。     

基于不变矩特征和神经网络的步态识别

步态识别是利用人体步行的方式来识别人的身份.近年来,步态作为一种生物特征识别技术已引起越来越多人们的兴趣.本文提出了一种简单有效的步态识别算法,首先通过背景差方法得到运动人体轮廓,然后利用不变矩描述轮廓特征,最后用BP神经网络方法来进行模板匹配,实现人的身份识别.     

姿态特征结合2维傅里叶变换的步态识别

目的 针对现有步态识别方法易受携带物品、衣服变化等影响的问题,提出了将无肩姿态能量图、步态参数等姿态特征与步态参数的2维傅里叶变换相结合的步态识别算法。方法 基于姿态关节点序列提出忽略肩膀宽度信息的无肩姿态能量图,用以减弱衣服变化的影响;由于下肢受衣物及背包影响较小,提取3个或3个以上的下肢关节点局部结构参数,即提取中臀点与左右膝关节点、中臀点与左右踝关节点构成的两个三角形面积以及所有下肢关节点构成的多边形面积作为步态参数,增强下肢参数在步态识别中的作用;人在行走时,单肢体的运动具有一定的周期性,且肢体之间运动具有一定的协调性,用步态参数的2维幅度谱来表示单肢体运动的周期性与肢体之间运动的协调性,以提高步态参数的可区别性;在现有典型步态特征的基础上,融合本文提出的无肩姿态能量图、步态参数及其2维傅里叶变换幅度谱,采用多特征表示步态的方法,充分利用各特征的优点,提出加权平均与最大池化相结合的两层分数融合策略进行步态识别,提高了步态识别算法在携带物品、衣服变化和跨视角等条件下的正确率。结果 实验结果表明,在中国科学院自动化研究所发布的步态数据集CASIA-B上,本文方法在相同视角条件下,正常状态、背包状态和穿大衣状态的平均识别率分别为99.56%、99.23%和94.25%;在跨视角条件下,正常状态、背包状态和穿大衣状态的平均识别率分别为91.32%、85.34%和69.51%。与典型算法相比,穿大衣状态的识别率有显著提升。结论 本文方法采用加权平均与最大池化相结合的两层分数融合策略,综合利用各特征的优点及其适用场景,有效提高了步态识别的准确率,特别是减弱了衣服厚度、样式等变化对步态识别的影响。     

基于双分支时空步态特征融合的深度学习步态识别

针对现有步态识别方法易受拍摄视角、着装变化影响的问题,提出一种融合二维无肩姿态拓扑能量图(shoulderless pose topological energy maps, SPTEM)和三维局部骨骼步态特征(local skeleton gait features, LSGF)的深度学习步态识别方法.首先,利用轻量级BlazePose姿态估计算法提取步态视频序列中的人体姿态拓扑图以生成SPTEM,在提高检测速度的同时减弱衣物变化带来的影响;然后,引入LSGF以弥补单一能量图特征在多变视角情况下识别准确率较低的不足;最后,提出结合注意力机制的时空特征提取网络模型,并在全连接层将双流特征进行一致融合.在CASIA-B数据集上对所提出方法进行验证,并与当前主流的步态识别方法进行比较,结果表明,所提出方法在跨视角和穿大衣/棉衣条件下的步态识别率都有明显提升.     

View-invariant gait recognition based on kinect skeleton feature

Gait recognition is a popular remote biometric identification technology. Its robustness against view variation is one of the challenges in the field of gait recognition. In this paper, the second-generation Kinect (2G–Kinect) is used as a tool to build a 3D–skeleton-based gait dataset, which includes both 2D silhouette images captured by 2G–Kinect and their corresponding 3D coordinates of skeleton joints. Given this dataset, a human walking model is constructed. Referring to the walking model, the length of some specific skeletons is selected as the static features, and the angles of swing limbs as the dynamic features, which are verified to be view-invariant. In addition, the gait recognition abilities of the static and dynamic features are investigated respectively. Given the investigation, a view-invariant gait recognition scheme is proposed based on the matching-level-fusion of the static and dynamic features, and the nearest neighbor (NN) method is used for recognition. Comparison between the existing Kinect-based gait recognition method and the proposed one on different datasets show that the proposed one has better recognition performance.     

基于非对称双路识别网络的步态识别方法

步态作为一种人体躯干、关节、上下肢及各肌群的周期性行为模式,是可用于身份识别过程的一种重要生物特征.针对现有的步态识别方法大都是基于步态轮廓图或者步态能量图提取的全局特征,而忽视了对细粒度步态信息的有效利用的问题,提出了一种包括全局通路和局部通路的非对称双路识别网络.其中全局通路采用三元组损失函数,用于提取步态的全局时...     

用块稀疏贝叶斯学习算法重构识别体域网步态模式

针对低功耗体域网步态远程监测终端非稀疏加速度数据重构和步态模式识别性能优化问题,提出了一种基于块稀疏贝叶斯学习的体域网远程步态模式重构识别新方法,该方法基于体域网远程步态监测系统架构和压缩感知框架,在体域网传感节点利用线性稀疏矩阵压缩原始加速度数据,减少传输数据量,降低其功耗,同时在远程终端基于块稀疏贝叶斯学习算法充分利用加速度数据块结构内在相关性,获取加速度数据内在稀疏性,有效提高非稀疏加速度数据重构性能,为准确识别步态模式提供可靠的数据支撑.采用USC-HAD数据库中行走、跑、跳、上楼、下楼五种步态运动的加速度数据验证新方法的有效性,实验结果表明,基于所提算法的加速度数据重构性能明显优于传统压缩感知重构算法性能,使基于支持向量机多步态分类器识别准确率可达98%,显著提高体域网远程步态模式识别性能.所提新方法不仅有效提高非稀疏加速度数据重构和步态模式识别性能,并且也有助于设计低功耗、低成本的体域网加速度数据采集系统,为体域网远程监测步态模式变化提供一个新方法和新思路.     

基于多支路残差深度网络的跨视角步态识别方法

针对基于卷积神经网络的步态识别模型不能充分利用局部细粒度信息的问题,提出基于多支路残差深度网络的跨视角步态识别方法.将多支路网络引入卷积神经网络中,分别提取步态轮廓序列图中不同粒度的特征,并利用残差学习和多尺度特征融合技术,增强网络的特征学习能力.在公开步态数据集CASIA-B和OU-MVLP上的实验证实文中方法的识别准确率较高.     

基于混合注意力的轻量级偏瘫步态评估系统

脑卒中患者通常会出现偏瘫步态,而视觉式步态分析可以用于检测这些变化.然而,当前公开的病理步态数据集规模较小、缺乏对偏瘫严重程度的详细分级,并且传统的视觉式深度学习步态分析方法通常需要较高计算量和较大参数量,不适用于小规模病理步态数据集.本文设计了一款轻量级偏瘫步态评估系统.系统使用一种轻量级卷积神经网络(convolutional neural networks, CNN)来评估偏瘫步态表现.通过线性拼接不同尺度的分组卷积,低成本地获得高效率特征.系统引入多维度混合的轻量级注意力模块来帮助CNN关注空间和通道维度上的显著特征,从而更好地平衡系统有效性与模型参数量.此外,本文还构建了一个专门用于步态识别的偏瘫模拟步态数据集,为模型训练和测试提供数据支撑.实验结果表明,系统的神经网络仅使用VGG-19 1/53的参数量,将步态识别准确率提高至96.91%,高于预训练后的VGG-19,与其他轻量化SOTA方法相比同样具有精度优势.系统的开发成本低,可部署于移动设备,并支持实时检测,为家庭式病理步态分析提供了一种可行的方案.