共享转换矩阵的胶囊网络及其融合视角特征的跨视角步态识别

步态识别具有非接触性、非侵犯性、易感知等优势,然而,在跨视角的步态识别中,行人的轮廓会随人的视角的变化而不同,从而影响步态识别的性能。为此,提出了共享转换矩阵的胶囊网络及其改进的动态路由算法,从而减少了网络训练参数。在此基础上,通过融合视角特征,利用Triplet损失与Margin损失提出了融合视角特征的跨视角步态识别模型。在CASIA-B数据集上的实验结果表明,使用共享转换矩阵的胶囊网络提取步态特征是有效的,在正常行走、携带背包、穿戴外套条件下,所提融合视角特征的模型在识别准确率上比基于卷积神经网络的跨视角步态识别方法提高了4.13%,且对跨较大视角的步态识别具有更好的性能。     

基于双分支时空步态特征融合的深度学习步态识别

针对现有步态识别方法易受拍摄视角、着装变化影响的问题,提出一种融合二维无肩姿态拓扑能量图(shoulderless pose topological energy maps, SPTEM)和三维局部骨骼步态特征(local skeleton gait features, LSGF)的深度学习步态识别方法.首先,利用轻量级BlazePose姿态估计算法提取步态视频序列中的人体姿态拓扑图以生成SPTEM,在提高检测速度的同时减弱衣物变化带来的影响;然后,引入LSGF以弥补单一能量图特征在多变视角情况下识别准确率较低的不足;最后,提出结合注意力机制的时空特征提取网络模型,并在全连接层将双流特征进行一致融合.在CASIA-B数据集上对所提出方法进行验证,并与当前主流的步态识别方法进行比较,结果表明,所提出方法在跨视角和穿大衣/棉衣条件下的步态识别率都有明显提升.     

基于生成对抗网络的跨视角步态特征提取

步态是一种能够在远距离、非侵犯的条件下识别身份的生物特征,但在实际场景中,步态很容易受到拍摄视角、行走环境、物体遮挡、着装等因素的影响.在跨视角识别问题上,现有方法只注重将多种视角的步态模板转化到固定视角下,且视角跨度的增大加深了错误的累积.为了提取有效的步态特征用于跨视角步态识别,本文提出了一种基于生成对抗网络的跨视角步态特征提取方法,该方法只需训练一个模型即可将步态模板转换到任意视角下的正常行走状态,并最大化地保留原本的身份特征信息,从而提高步态识别的准确率.在CASIA-B和OUMVLP数据集上的实验结果表明,该方法在解决跨视角步态识别问题上具有一定的鲁棒性和可行性.     

基于变换匹配层融合的双模态生物特征识别方法

自新冠疫情发生以来，戴口罩预防疾病可能会成为大众的常态化行为。若大部分面部特征被遮挡会影响人脸识别方法的精度，同时距离也会对面部识别造成一定影响。然而，步态作为一种可远距离并且难以伪装的生物特征，容易受身体遮挡、角度等外部条件变化的影响。提出一种基于变换匹配层的识别方法，以融合步态和面部特征。通过步态特征提取网络提取人体轮廓图中具有区分度的时空生物特征，以解决单模态人脸识别技术难以在远距离条件下对带口罩目标进行识别的问题，采用面部特征提取网络提取脸部的细粒度特征，以增强网络对于目标主体轮廓被遮挡的鲁棒性。在匹配层将面部特征与步态特征进行归一化后再将信息融合，以达到特征互补的效果。此外，构建相关联的全局-局部时空特征提取模块。通过局部特征提取模块提取细粒度的步态特征，并采用基于互补掩码的多尺度随机带状分割策略增强各个局部特征之间的关联关系。全局特征提取模块提取全局步态信息，与局部细粒度信息形成互补，从而提高步态特征提取网络对于遮挡、视角变化的鲁棒性。实验结果表明，该方法的识别准确率达到99.16%，相较于步态、面部特征提取网络分别提高6.56和0.45个百分点，并且在远距离且戴口罩的真实...     

基于改进时空步态图的步态识别

基于图像步态识别因缺乏有效动态、时序特征,导致跨视角识别时准确率较低,而基于模型步态识别特征维度不足,容易造成步态识别平均准确率不高。故提出一种改进时空步态图(Improved Chrono-Gait Image,ICGI)及特征融合策略的解决方法,将时序信息与人体下肢关节间角度的规律变化相结合,突出步态运动时下肢的周期性变化。在引入时序信息的基础上,融合下肢关节点间动态特征,建立一个更加丰富、有效的特征集。结合最近邻算法(KNN)建立步态识别模型,在CASIA-B数据集上进行对比实验,证实所提方法能有效提高复杂环境下步态识别精度。     

结合轮廓与姿态的时空融合步态识别方法

现有的大多数步态识别方法是基于轮廓的步态识别方法，然而轮廓容易受到遮挡的影响，从而导致识别准确率下降。在现实的监控场景下，遮挡几乎是不可避免的，提高遮挡情况下的步态识别精度是算法能够“落地”于实际应用的前提。针对此问题，提出了结合轮廓与姿态的时空融合步态识别方法。利用姿态具有抵抗遮挡的能力，设计多模态空间特征融合模块，利用特征重用策略和模态融合策略以提高空间特征的信息容量；设计多尺度时间特征提取模块，利用独立分支提取不同时间尺度下的时间信息，提出一种基于注意力的特征融合策略以自适应地整合时间信息；设计空间特征集合分支，以深监督方式提高时空特征的表达能力。在公开数据集上的实验结果表明了所提方法的有效性，模型在遮挡情况下具有较好的鲁棒性。     

姿态特征结合2维傅里叶变换的步态识别

目的 针对现有步态识别方法易受携带物品、衣服变化等影响的问题,提出了将无肩姿态能量图、步态参数等姿态特征与步态参数的2维傅里叶变换相结合的步态识别算法。方法 基于姿态关节点序列提出忽略肩膀宽度信息的无肩姿态能量图,用以减弱衣服变化的影响;由于下肢受衣物及背包影响较小,提取3个或3个以上的下肢关节点局部结构参数,即提取中臀点与左右膝关节点、中臀点与左右踝关节点构成的两个三角形面积以及所有下肢关节点构成的多边形面积作为步态参数,增强下肢参数在步态识别中的作用;人在行走时,单肢体的运动具有一定的周期性,且肢体之间运动具有一定的协调性,用步态参数的2维幅度谱来表示单肢体运动的周期性与肢体之间运动的协调性,以提高步态参数的可区别性;在现有典型步态特征的基础上,融合本文提出的无肩姿态能量图、步态参数及其2维傅里叶变换幅度谱,采用多特征表示步态的方法,充分利用各特征的优点,提出加权平均与最大池化相结合的两层分数融合策略进行步态识别,提高了步态识别算法在携带物品、衣服变化和跨视角等条件下的正确率。结果 实验结果表明,在中国科学院自动化研究所发布的步态数据集CASIA-B上,本文方法在相同视角条件下,正常状态、背包状态和穿大衣状态的平均识别率分别为99.56%、99.23%和94.25%;在跨视角条件下,正常状态、背包状态和穿大衣状态的平均识别率分别为91.32%、85.34%和69.51%。与典型算法相比,穿大衣状态的识别率有显著提升。结论 本文方法采用加权平均与最大池化相结合的两层分数融合策略,综合利用各特征的优点及其适用场景,有效提高了步态识别的准确率,特别是减弱了衣服厚度、样式等变化对步态识别的影响。     

面向多人多生物属性的跨视角步态追踪系统

步态识别是一项新兴的生物识别技术, 可以被广泛地应用在刑事安防, 疫情传播链追踪等领域, 该项技术的本质在于通过人的人体体型和行走姿态来识别人的身份, 年龄, 性别等多种生物属性. 相比其他生物识别技术, 步态识别具有远距离, 全视角, 无感知, 防伪装等显著优势. 基于此, 本文设计了一款面向多人多生物属性的跨视角步态追踪系统, 该系统充分考虑了现实应用场景中存在的多人, 跨视角, 服饰变化等协变量对于步态识别准确率的影响, 并通过更加鲁棒的算法设计从复杂的环境中提取行人的步态信息从而对其身份, 年龄, 性别等生物属性进行准确的分析. 实验结果表明, 在跨视角和多种行走状态的情况下, 本系统中基于深度学习的步态识别算法模型的准确率可以达到88.0%, 在多视角的情况下, 性别分类准确率可以达到94.8%, 年龄估计的平均年龄误差约为7.92岁, 标准差约为8.11, 实验结果均优于近年来相关领域的算法, 达到相对领先的水平. 同时系统开发成本低, 面向落地应用场景, 并支持实时性步态检测.     

针对大角度下视角差异的行人重识别方法研究

行人重识别(Re-ID)也称为行人再识别,旨在给定一个目标行人,确定该行人是否出现在不同的摄像机下,或者是在不同的时间出现在相同的摄像机下。通常由于不同摄像机拍摄到的行人视角不同,在视角差异过大的情况下会对行人重识别准确率造成严重影响。因此,针对目标行人相对摄像机的视角不同而带来的识别率下降问题,提出一种基于外观-步态特征融合的行人重识别算法,使用视角信息对RGB图像与步态能量图(GEI)进行重要性权重估计后再加权融合,以此来克服视角不同而带来的影响。具体来讲,首先利用Res Net-50提取图像序列中每张图像的特征,采用时间池化的方式将其聚合为外观特征。其次使用另一个Res Net-50对GEI图像提取步态特征。然后对行人进行视角估计之后,映射函数将估计的角度映射为两种特征的重要性权重。最后基于自编码器结构将两种特征在重要性权重的指导下进行加权融合,生成对视角鲁棒的融合特征。在CASIA-B数据集上的实验结果表明,对于具有大角度视角差异的行人Re-ID,所提出方法在m AP和Rank-1评估指标上都表现出了显著的改进。在大角度差异情况下进行测试,准确率最高提升了2.7%。     

基于特征融合的步态识别算法研究

根据人体步态变化特点,提出一种基于特征融合和神经网络的步态识别算法。首先采用时域差分法对运动人体轮廓进行分割,然后分别提取空间特征和频率特征,将两步态特征融合在一起,从而实现步态的分类和识别。在CASIA步态数据库上进行仿真实验,仿真结果表明,该方法不仅克服了单一特征提取方法存在的缺陷,同时提高了步态识别正确率。     

基于改进残差网络的联合损失步态特征识别

针对现有的步态识别模型识别准确率不够高、提取特征层次较浅等问题,在步态识别网络GaitSet的基础上,提出一种新的基于改进残差网络的联合损失步态特征识别模型Res-GaitSet。步态作为一种独特而有效的远距离识别生物特征,可以在老年医学评估、社会秩序保障等方面被广泛应用。新网络在特征提取模块中引入残差单元,并采用多个损失函数联合使用的方式,此方法可有效提高步态识别模型的准确性和鲁棒性。实验结果表明,改进后的网络Res-GaitSet在CASIA-B数据集的多个场景和不同识别角度下的准确率均有提升。同时,将改进后的网络用于自建步态数据集,对比于原网络,改进后的网络识别效果在不同角度下也均有提升,充分验证了改进模型的有效性。     

结合双流网络和金字塔映射的步态识别

目前,基于深度学习的步态识别方法虽然取得了一定的进展,但数据采集和步态外观的变化仍然是实现精确步态识别所面临的挑战。为了提高网络对时空步态信息的捕捉能力,提出了一种基于步态轮廓流和步态特征差分流的双流网络结构。步态轮廓流以步态轮廓图作为输入,用来提取步态序列中包含的空间步态信息;步态特征差分流则是以步态特征差分图作为输入,用来捕获相邻步态图之间的动态信息。同时,为了充分利用步态序列中的全局和局部信息,提出了多尺度金字塔映射（multi-scale pyramid mapping,MPM）模块,并插入到各单流网络中以增强网络对全局和局部步态信息的提取能力。所提方法在步态数据集CASIA-B和OU-MVLP上的平均识别精度分别达到了87.0%和85.5%,这表明双流网络架构和MPM模块可以有效地捕获步态序列中的时空步态信息。     

异常步态3维人体建模和可变视角识别

目的 运用视觉和机器学习方法对步态进行研究已成为当前热点,但多集中在身份识别领域。本文从不同的视角对其进行研究,探讨一种基于点云数据和人体语义特征模型的异常步态3维人体建模和可变视角识别方法。方法 运用非刚性变形和蒙皮方法,构建基于形体和姿态语义特征的参数化3维人体模型;以红外结构光传感器获取的人体异常步态点云数据为观测目标,构建其对应形体和姿态特征的3维人体模型。通过ConvGRU（convolution gated necurrent unit）卷积循环神经网络来提取其投影深度图像的时空特征,并将样本划分为正样本、负样本和自身样本三元组,对异常步态分类器进行训练,以提高分类器对细小差异的鉴别能力。同时对异常步态数据获取难度大和训练视角少的问题,提出了一种基于形体、姿态和视角变换的训练样本扩充方法,以提高模型在面对视角变化时的泛化能力。结果 使用CSU（Central South University）3维异常步态数据库和DHA（depth-included human action video）深度人体行为数据库进行实验,并对比了不同异常步态或行为识别方法的效果。结果表明,本文方法在CSU异常步态库实验中,0°、45°和90°视角下对异常步态的综合检测识别率达到了96.6%,特别是在90°到0°交叉和变换视角实验中,比使用DMHI（difference motion history image）和DMM-CNN（depth motion map-convolutional neural network）等步态动作特征要高出25%以上。在DHA深度人体运动数据库实验中,本文方法识别率接近98%,比DMM等相关算法高出2%~3%。结论 提出的3维异常步态识别方法综合了3维人体先验知识、循环卷积网络的时空特性和虚拟视角样本合成方法的优点,不仅能提高异常步态在面对视角变换时的识别准确性,同时也为3维异常步态检测和识别提供一种新思路。     

基于非对称双路识别网络的步态识别方法

步态作为一种人体躯干、关节、上下肢及各肌群的周期性行为模式,是可用于身份识别过程的一种重要生物特征.针对现有的步态识别方法大都是基于步态轮廓图或者步态能量图提取的全局特征,而忽视了对细粒度步态信息的有效利用的问题,提出了一种包括全局通路和局部通路的非对称双路识别网络.其中全局通路采用三元组损失函数,用于提取步态的全局时...     

基于自适应人体拓扑结构引导的步态识别

不同于基于外形的步态识别方法, 基于关键点的步态识别方法采取人体关键点作为模型的输入, 能够有效避免数据集带来的背景噪声干扰; 其次, 现有的基于关键点的步态识别方法忽略了人体结构先验知识的利用, 且更倾向于提取局部特征, 从而忽略了全局上的关联性. 本文提出了一个基于关键点的步态识别框架GaitBody, 能够从步态关键点序列中提取更有分辨性的特征. 首先, 我们设计了带有较大卷积核的多尺度卷积模块来提取多粒度的时序特征; 其次, 我们利用自注意力机制来提取空间特征, 并在此基础上引入了人体结构拓扑信息来进一步利用人体结构的先验知识; 最后, 为了更好使用时序信息, 我们生成最有代表性的时序特征, 并将其引入到自注意模块来融合时序和空间特征. 在CASIA-B和OUMVLP-Pose数据集上的实验结果表明, 我们的方法在基于关键点的步态识别方法上取得了最优结果, 消融实验也证明了各个模块的有效性.     

视频下的正面人体身份自动识别

为了能够实现视频下正面人体身份的自动识别,设计的系统包括Adaboost行人检测、Adaboost人脸检测、肤色验证、步态预处理、周期检测、特征提取以及决策级融合识别等模块.通过行人检测模块可以自动开启人脸检测模块和步态周期检测模块.实验结果表明,提出的根据下臂摇摆区域确定步态周期的方法对正面步态周期检测准确,计算量小,适用于实时的步态识别.采用人脸特征辅助步态特征在决策级的融合方法是解决视频下身份识别的新思路,在单样本的步态识别中,融合人脸特征可以提高识别精度.     

结合注意力卷积网络与分块特征的步态识别

目前深度学习算法已经广泛应用于步态识别领域,但是大多数现有方法通过卷积神经网络提取步态全局特征时,忽略了许多包含关键步态信息的局部特征,在一定程度上削弱了步态识别的精度和提升潜力.针对上述问题,提出了一种结合注意力卷积神经网络与分块特征的跨视角步态识别方法,该方法以步态轮廓图序列为输入,每帧图片分别经过相同结构的注意力...     

基于特征融合的步态识别算法

步态运动中包含人体形状信息和运动信息,目前步态识别算法多数基于单一信息,不能取得满意的识别结果。利用特征融合的思想,提出一种融合人体轮廓特征和下肢角度特征的步态识别算法。采用傅立叶描述子描述人体轮廓特征;区别于基于模型的运动特征提取方法,依据人体解剖学的知识获取下肢角度,计算代价较小;采用加权融合规则实现两类特征的融合。仿真结果表明,本算法的性能较基于单个特征的算法有明显的提高。     

线性插值框架下矩阵步态识别的性能分析

针对现有的步态周期检测方法检测效果不佳以及行走速度变化对步态识别性能有很大影响的问题,提出的基于矩的步态周期检测方法中,Zernike矩需要人体居中、尺度归一的前期预处理过程,而伪Zernike矩具有能描述运动图像的特点,它可以避免人体居中、尺度归一等处理,以便直接测试步态的周期性.根据行走时的两帧之间的特征取决于前一帧和后一帧的特征,提出了基于线性插值的矩阵步态识别算法框架,并且将投影特征、Hough变换特征、Trace变换特征和Fan-Beam映射特征应用在CASIA(B)步态库上,验证了框架的有效性,为解决步态识别问题带来新的方法与思路.这种基于线性插值的矩阵步态识别特征本质上是一种权值不同的能量形式.