基于双流步态网络的跨视角步态识别

通过增强样本数据和网络特征,提出双流步态网络,增强模型对携带物、衣物变化影响的鲁棒性.首先构造双流步态网络,分别提取步态视频数据中的全局特征和协变量影响范围外的局部判别信息.再将两组网络的特征信息相加融合后,得到步态的双流特征表达.提出的限制随机遮挡策略增广用于训练样本的难度和多样性,提高网络对局部特征的学习能力,减弱协变量的不利影响.另外,改进三元组损失采样方法,加速网络模型的训练收敛速度.在大型步态数据集CASIA-B和OU-MVLP上的实验表明,在携带背包和穿着不同衣物的行走状态下,双流步态网络步态识别准确率较高.     

基于贝叶斯网络的步态识别

步态作为一种重要的生物特征由于其远距离身份识别能力而逐渐受到人们的重视。本文提出了一种基于贝叶斯网络的步态识别方法。首先应用背景差方法获得运动人体侧面二值图像,将侧面像分为七部分来提取特征,采用最大方差法对训练集进行离散化,对各部分分别建立贝叶斯网络,最后利用“投票”规则将网络推理结果进行组合。将该方法在Soton步态数据库上进行试验,取得了比较理想的识别效果。     

基于双分支时空步态特征融合的深度学习步态识别

针对现有步态识别方法易受拍摄视角、着装变化影响的问题,提出一种融合二维无肩姿态拓扑能量图(shoulderless pose topological energy maps, SPTEM)和三维局部骨骼步态特征(local skeleton gait features, LSGF)的深度学习步态识别方法.首先,利用轻量级BlazePose姿态估计算法提取步态视频序列中的人体姿态拓扑图以生成SPTEM,在提高检测速度的同时减弱衣物变化带来的影响;然后,引入LSGF以弥补单一能量图特征在多变视角情况下识别准确率较低的不足;最后,提出结合注意力机制的时空特征提取网络模型,并在全连接层将双流特征进行一致融合.在CASIA-B数据集上对所提出方法进行验证,并与当前主流的步态识别方法进行比较,结果表明,所提出方法在跨视角和穿大衣/棉衣条件下的步态识别率都有明显提升.     

基于多尺度特征迁移学习的步态识别研究

为了解决行人步态数据集样本量较少、单特征或多特征融合的步态识别算法特征描述不足的问题,提出了一种基于多尺度特征深度迁移学习的行人步态识别方法。该算法步骤包括：改进VGG-16网络,去除网络中最后一个最大池化层（Maxpool Layer）,融合空间金字塔池化网络结构（SPP）获取行人步态能量图（GEI）的多尺度信息,利用Imagenet数据集预训练此网络模型,将提取特征能力迁移至行人步态识别网络模型中,采用行人步态样本集微调网络,修改网络中的全连接层参数,应用于行人步态识别研究。该方法在中科院自动化研究所的CASIA-B步态数据集上的识别精度达到了95.7%,与单一步态特征的步态识别方法以及融合多种步态特征的识别方法相比,步态识别率有了明显提升,表明该方法有更好的识别性能。     

一种基于静态和动态特征的步态识别新方法

最近,利用步态对个人身份进行识别受到越来越多生物识别技术研究者的重视。步态能量图(Gait EnergyImage,GEI)是一种有效的步态表征方法。把步态能量图分解为身体相关能量图(Body-Related GEI,BGEI)、步态相关能量图(Gait-Related GEI,GGEI)、身体步态相关能量图(Body-Gait-Related GEI,BGGEI)3部分,利用傅立叶描绘子对身体相关能量图(BGEI)、身体步态相关能量图(BGGEI)进行描述,利用Gabor小波提取步态相关能量图(GGEI)的幅值特征,分别研究了它们的识别能力,并在Rank层和Score层融合步态相关能量图(GGEI)、身体步态相关能量图(BGGEI)这两部分信息用于步态识别。该算法在CASIA数据库上进行的试验取得了较高的正确识别率。     

基于轻量级卷积网络的步态识别研究

针对目前深度学习网络参数量大、成本较高等问题,提出了一种将轻量级卷积网络应用在步态识别中的研究,实现对行人步态的准确识别。该方法对数据集图像进行背景减除和归一化等预处理操作,根据每个人的步态特征提取出相应的步态能量图,使用Mobilenet网络模型进行特征学习并完成分类任务。实验结果表明,Mobilenet网络在减少模型参数量的同时,可以提高模型的识别精度,平均准确率和召回率可以达到90.7%、89.99%,能够有效地实现步态的识别及分类。     

基于图像空间金字塔SURF-BoW的步态识别

在步态识别中,衣着的变化易降低步态识别效果。为此,提出一种保留步态特征空间分布信息的步态识别方法。提取步态能量图像各级空间金字塔网格的加速鲁棒特征,采用偏最小二乘空间金字塔表示方法对各自级层的特征加权后进行聚类,构建词袋模型,用该模型统计直方图表征步态特征。使用直方图相交核支持向量机在CASIA步态数据库进行实验,结果表明,该方法具有较好的识别效果,平均识别率优于四元数小波变换、掩模能量图、局部二值模式和局部纹理分析步态识别方法。     

结合注意力卷积网络与分块特征的步态识别

目前深度学习算法已经广泛应用于步态识别领域,但是大多数现有方法通过卷积神经网络提取步态全局特征时,忽略了许多包含关键步态信息的局部特征,在一定程度上削弱了步态识别的精度和提升潜力.针对上述问题,提出了一种结合注意力卷积神经网络与分块特征的跨视角步态识别方法,该方法以步态轮廓图序列为输入,每帧图片分别经过相同结构的注意力...     

双分支特征融合网络的步态识别算法

目的 在步态识别算法中,基于外观的方法准确率高且易于实施,但对外观变化敏感;基于模型的方法对外观变化更加鲁棒,但建模困难且准确率较低。为了使步态识别算法在获得高准确率的同时对外观变化具有更好的鲁棒性,提出了一种双分支网络融合外观特征和姿态特征,以结合两种方法的优点。方法 双分支网络模型包含外观和姿态两条分支,外观分支采用Gait Set网络从轮廓图像中提取外观特征;姿态分支采用5层卷积网络从姿态骨架中提取姿态特征。在此基础上构建特征融合模块,融合外观特征和姿态特征,并引入通道注意力机制实现任意尺寸的特征融合,设计的模块结构使其能够在融合过程中抑制特征中的噪声。最后将融合后的步态特征应用于识别行人身份。结果 实验在CASIA-B(Institute of Automation, Chinese Academy of Sciences, Gait Dataset B)数据集上通过跨视角和不同行走状态两种实验设置与目前主流的步态识别算法进行对比,并以Rank-1准确率作为评价指标。在跨视角实验设置的MT(medium-sample training)划分中,该算法在3种行走状态下的准确率分别...     

基于视频残差神经网络的深度步态识别

步态识别是根据人体的行走方式进行身份识别. 目前, 大多数步态识别方法通过浅层神经网络进行特征提取, 在室内步态数据集表现良好, 然而在近年新公布的室外步态数据集中性能表现不佳. 为了解决室外步态数据集带来的严峻挑战, 提出了一种基于视频残差神经网络的深度步态识别模型. 在特征提取阶段, 基于提出的视频残差块构建深层3D卷积神经网络(3D CNN), 提取整个步态序列的时空动力学特征; 然后, 引入时序池化和水平金字塔映射降低采样特征分辨率并提取局部步态特征; 使用联合损失函数驱动训练过程, 最后通过BNNeck平衡损失函数并调整特征空间. 实验分别在公开的室内 (CASIA-B)、室外(GREW、Gait3D)这3个步态数据集上进行. 实验结果表明, 该模型在室外步态数据集中的准确率以及收敛速度优于其他模型.     

多级卷积特征金字塔的细粒度食物图片识别

目的 食物图片具有结构多变、背景干扰大、类间差异小、类内差异大等特点,比普通细粒度图片的识别难度更大。目前在食物图片识别领域,食物图片的识别与分类仍存在精度低、泛化性差等问题。为了提高食物图片的识别与分类精度,充分利用食物图片的全局与局部细节信息,本文提出了一个多级卷积特征金字塔的细粒度食物图片识别模型。方法 本文模型从整体到局部逐级提取特征,将干扰较大的背景信息丢弃,仅针对食物目标区域提取特征。模型主要由食物特征提取网络、注意力区域定位网络和特征融合网格3部分组成,并采用3级食物特征提取网络的级联结构来实现特征由全局到局部的转移。此外,针对食物图片尺度变化大的特点,本文模型在每级食物特征提取网络中加入了特征金字塔结构,提高了模型对目标大小的鲁棒性。结果 本文模型在目前主流公开的食物图片数据集Food-101、ChineseFoodNet和Food-172上进行实验,分别获得了91.4%、82.8%、90.3%的Top-1正确率,与现有方法相比提高了1%~8%。结论 本文提出了一种多级卷积神经网络食物图片识别模型,可以自动定位食物图片区分度较大的区域,融合食物图片的全局与局部特征,实现了食物图片的细粒度识别,有效提高了食物图片的识别精度。实验结果表明,该模型在目前主流食物图片数据集上取得了最好的结果。     

T-STAM:基于双流时空注意力机制的端到端的动作识别模型

针对双流法进行视频动作识别时忽略特征通道间的相互联系、特征存在大量冗余的时空信息等问题,提出一种基于双流时空注意力机制的端到端的动作识别模型T-STAM,实现了对视频关键时空信息的充分利用。首先,将通道注意力机制引入到双流基础网络中,通过对特征通道间的依赖关系进行建模来校准通道信息,提高特征的表达能力。其次,提出一种基于CNN的时间注意力模型,使用较少的参数学习每帧的注意力得分,重点关注运动幅度明显的帧。同时提出一种多空间注意力模型,从不同角度计算每帧中各个位置的注意力得分,提取多个运动显著区域,并且对时空特征进行融合进一步增强视频的特征表示。最后,将融合后的特征输入到分类网络,按不同权重融合两流输出得到动作识别结果。在数据集HMDB51和UCF101上的实验结果表明T-STAM能有效地识别视频中的动作。     

基于组合特征的步态识别

基于步态的身份识别是近几年出现的一种新的生物识别技术。提出了一种融合静态特征与动态特征的步态识别方法,该算法使用小波矩描述步态序列图像的静态特征,接着使用主元分析法对小波矩进行降维,而图像的动态特征则用人体轮廓的3个宽度特征来描述。最后,通过实验证明了该算法的有效性。     

动静态信息融合及动态贝叶斯网络的步态识别

步态是远距离视频监控领域最具潜力的生物特征。目前对步态的识别研究大都是考虑单一条件下步态的识别率,但在穿外套、背包等混合条件下识别率较低,通过分析人体行走时步态的时序特征,提出一种基于动静态信息相结合的多信息融合的动态贝叶斯网络(DSIF-DBN)。模型含有3层状态,模型中每个时间片都为静态信息和动态信息的融合。此模型能很好地表达步态的时序特性,即步态行走时人体姿态,运动幅度等特征的节奏性变化。实验结果表明该方法有较高的识别率,能有机地融合步态的静态信息及动态信息,并且在有噪声及信息缺失的情况下有较好的鲁棒性,大大降低了外套及背包对步态识别的影响。     

基于改进残差网络的联合损失步态特征识别

针对现有的步态识别模型识别准确率不够高、提取特征层次较浅等问题,在步态识别网络GaitSet的基础上,提出一种新的基于改进残差网络的联合损失步态特征识别模型Res-GaitSet。步态作为一种独特而有效的远距离识别生物特征,可以在老年医学评估、社会秩序保障等方面被广泛应用。新网络在特征提取模块中引入残差单元,并采用多个损失函数联合使用的方式,此方法可有效提高步态识别模型的准确性和鲁棒性。实验结果表明,改进后的网络Res-GaitSet在CASIA-B数据集的多个场景和不同识别角度下的准确率均有提升。同时,将改进后的网络用于自建步态数据集,对比于原网络,改进后的网络识别效果在不同角度下也均有提升,充分验证了改进模型的有效性。     

基于傅立叶描绘子的步态识别

步态识别作为一种新的生物特征识别技术,通过人走路的姿势实现对个人身份的识别和认证。利用傅立叶描绘子对步态轮廓图像进行描述,用步态图像的高宽比进行步态的准周期性分析,并采用动态时间规正算法解决不同的步态周期的图像序列之间的比较问题。该算法在CMU数据库上面进行试验取得了较高的正确识别率。     

基于角度统计特征的步态识别

提取角度统计特征,为步态识别提出了一种新途径.用统计的方法,等角度间隔地计算归一化步态轮廓图像各像素点至质心距离的均值与方差,并用其构造步态识别的特征向量.与提取步态轮廓图像边界特征的方法相比,该方法具有算法简单、运算速度快、无需建立复杂的数学模型等优点.以Matlab7.5为平台,以中科院自动化研究所提供的CASIA数据库为样本进行了大量实验,实验结果表明:该步态识别方法具有较好的识别性能.     

基于动态部位特征的步态识别方法

为了在衣着饰物变化条件下进行步态识别,提出了一种基于动态部位特征的步态识别方法。首先,采用泊松方程给步态轮廓内的每个点赋值,并构造合适的阈值函数来提取步态序列的动态部位特征;然后,统计其等角度间隔的扇形区域内的均值和方差,用其构造动态特征向量;最后,利用支持向量机算法在行走人衣着饰物发生变化的条件下进行步态分类。通过在CASIA大规模步态数据库上的实验,验证了该方法的有效性和鲁棒性。     

基于自适应特征选取的步态识别

提出基于自适应特征选取的步态识别方法。采用新的特征提取方法,该方法将目标按人体结构特点划分为多个子区域,利用各个子区域的质心与头部质心的距离和夹角对步态特征进行描述。采用Boosting算法自适应选取最优特征序列,对识别结果进行加权处理。该方法结合了步态的动态和静态信息,实验结果表明该方法具有较高的识别性能。