双分支特征融合网络的步态识别算法

目的 在步态识别算法中，基于外观的方法准确率高且易于实施，但对外观变化敏感；基于模型的方法对外观变化更加鲁棒，但建模困难且准确率较低。为了使步态识别算法在获得高准确率的同时对外观变化具有更好的鲁棒性，提出了一种双分支网络融合外观特征和姿态特征，以结合两种方法的优点。方法 双分支网络模型包含外观和姿态两条分支，外观分支采用GaitSet网络从轮廓图像中提取外观特征；姿态分支采用5层卷积网络从姿态骨架中提取姿态特征。在此基础上构建特征融合模块，融合外观特征和姿态特征，并引入通道注意力机制实现任意尺寸的特征融合，设计的模块结构使其能够在融合过程中抑制特征中的噪声。最后将融合后的步态特征应用于识别行人身份。结果 实验在CASIA-B （Institute of Automation，Chinese Academy of Sciences，Gait Dataset B）数据集上通过跨视角和不同行走状态两种实验设置与目前主流的步态识别算法进行对比，并以Rank-1准确率作为评价指标。在跨视角实验设置的MT （medium-sample training）划分中，该算法在3种行走状态下的准确率分别为93.4%、84.8%和70.9%，相比性能第2的算法分别提升了1.4%、0.5%和8.4%；在不同行走状态实验设置中，该算法在两种行走状态下的准确率分别为94.9%和90.0%，获得了最佳性能。结论 在能够同时获取外观数据和姿态数据的场景下，该算法能够有效地融合外观信息和姿态信息，在获得更丰富的步态特征的同时降低了外观变化对步态特征的影响，提高了步态识别的性能。

Dual branch feature fusion network based gait recognition algorithm