基于双通道循环一致性GAN的跨视角步态识别研究

步态识别系统在生物识别领域显示出巨大的潜力,然而步态识别的准确性很容易受到视角的影响。为解决这一问题,提出的方法基于循环生成对抗网络(cycle generative adversarial network, Cycle-GAN)的网络结构,结合新的特征提取模块以及多重损失函数,提出了一种用于跨视角步态识别的网络模型双通道循环一致性生成对抗网络(two-channel cycle consistency generative adversarial network, TCC-GAN)。该网络首先将步态能量图像从任意视角转换为目标视角图像,然后进行比对从而实现身份识别。TCC-GAN分别引入了重建损失、视角分类和身份保持损失来指导生成器生成具有目标视角的步态图像并同时保留身份信息。为了避免可能存在的模式崩塌问题,并保证各个输入和输出以有意义的方式进行映射,模型中还利用了循环一致性损失。数据集CASIA-B和OU-MVLP上的实验结果表明:所提TCC-GAN模型的跨视角识别率高于目前大多数其他基于GAN的跨视角步态识别模型。     

基于生成对抗网络的跨视角步态特征提取

步态是一种能够在远距离、非侵犯的条件下识别身份的生物特征,但在实际场景中,步态很容易受到拍摄视角、行走环境、物体遮挡、着装等因素的影响.在跨视角识别问题上,现有方法只注重将多种视角的步态模板转化到固定视角下,且视角跨度的增大加深了错误的累积.为了提取有效的步态特征用于跨视角步态识别,本文提出了一种基于生成对抗网络的跨视角步态特征提取方法,该方法只需训练一个模型即可将步态模板转换到任意视角下的正常行走状态,并最大化地保留原本的身份特征信息,从而提高步态识别的准确率.在CASIA-B和OUMVLP数据集上的实验结果表明,该方法在解决跨视角步态识别问题上具有一定的鲁棒性和可行性.     

融合自注意力机制的生成对抗网络跨视角步态识别

目的 针对目前基于生成式的步态识别方法采用特定视角的步态模板转换、识别率随视角跨度增大而不断下降的问题,本文提出融合自注意力机制的生成对抗网络的跨视角步态识别方法。方法 该方法的网络结构由生成器、视角判别器和身份保持器构成,建立可实现任意视角间步态转换的网络模型。生成网络采用编码器—解码器结构将输入的步态特征和视角指示器连接,进而实现不同视角域的转换,并通过对抗训练和像素级损失使生成的目标视角步态模板与真实的步态模板相似。在判别网络中,利用视角判别器来约束生成视角与目标视角相一致,并使用联合困难三元组损失的身份保持器以最大化保留输入模板的身份信息。同时,在生成网络和判别网络中加入自注意力机制,以捕捉特征的全局依赖关系,从而提高生成图像的质量,并引入谱规范化使网络稳定训练。结果 在CASIA-B(Chinese Academy of Sciences’ Institute of Automation gait database——dataset B)和OU-MVLP(OU-ISIR gait database-multi-view large population dataset)数据集上进行实验,当引入自注意力模块和身份保留损失训练网络时,在CASIA-B数据集上的识别率有显著提升,平均rank-1准确率比GaitGAN(gait generative adversarial network)方法高15%。所提方法在OU-MVLP大规模的跨视角步态数据库中仍具有较好的适用性,可以达到65.9%的平均识别精度。结论 本文方法提升了生成步态模板的质量,提取的视角不变特征更具判别力,识别精度较现有方法有一定提升,能较好地解决跨视角步态识别问题。     

基于多支路残差深度网络的跨视角步态识别方法

针对基于卷积神经网络的步态识别模型不能充分利用局部细粒度信息的问题,提出基于多支路残差深度网络的跨视角步态识别方法.将多支路网络引入卷积神经网络中,分别提取步态轮廓序列图中不同粒度的特征,并利用残差学习和多尺度特征融合技术,增强网络的特征学习能力.在公开步态数据集CASIA-B和OU-MVLP上的实验证实文中方法的识别准确率较高.     

跨视角步态识别综述

步态识别具有对图像分辨率要求低、可远距离识别、无需受试者合作、难以隐藏或伪装等优势,在安防监控和调查取证等领域有着广阔的应用前景。然而在实际应用中,步态识别的性能常受到视角、着装、携物和遮挡等协变量的影响,其中视角变化最为普遍,并且会使行人的外观发生显著改变。因此,提高步态识别对视角的鲁棒性一直是该领域的研究热点。为了全面认识现有的跨视角步态识别方法,本文对相关研究工作进行了梳理和综述。首先,从基本概念、数据采集方式和发展历程等角度简要介绍了该领域的研究背景,在此基础上,整理并分析了基于视频的主流跨视角步态数据库;然后,从基于3维步态信息的识别方法、基于视角转换模型的识别方法、基于视角不变特征的识别方法和基于深度学习的识别方法 4个方面详细介绍了跨视角步态识别方法。最后,在CASIA-B(CASIA gait database, dataset B)、OU-ISIR LP(OU-ISIR gait database, large population dataset)和OU-MVLP(OU-ISIR gait database, multi-view large population ...     

基于视角转换的多视角步态识别方法

针对步态识别中步态视角变化、步态数据样本量少及较少利用步态时间信息等问题,提出一种基于视角转换的步态识别方法。通过VTM-GAN网络,将不同视角下的步态能量图及含有步态时间信息的彩色步态能量图,统一映射到保留步态信息最丰富的侧视图视角,以此突破步态识别中多视角的限制,在视角转换的基础上,通过构建侧视图下的步态正负样本对来扩充用于网络训练的数据,并采用基于距离度量的时空双流卷积神经网络作为步态识别网络。在CASIA-B数据集上的实验结果表明,该方法在各状态、各角度下的平均识别准确率达到92.5%,优于3DCNN、SST-MSCI等步态识别方法。     

面向复杂图像分类的共享转换矩阵胶囊网络

针对胶囊网络（CapsNet）在处理含有背景噪声信息的复杂图像时分类效果不佳且计算开销大的问题，提出一种基于注意力机制和权值共享的改进胶囊网络模型——共享转换矩阵胶囊网络（STM-CapsNet）。该模型主要包括以下改进：1）在特征提取层中引入注意力模块，使低层胶囊能够聚焦于与分类任务相关的实体特征；2）将空间位置接近的低层胶囊分为若干组，每组内的低层胶囊通过共享转换矩阵映射到高层胶囊，降低计算开销，提高模型鲁棒性；3）在间隔损失与重构损失的基础上加入L2正则化项，防止模型过拟合。在CIFAR10、SVHN(Street View House Number)、FashionMNIST复杂图像数据集上的实验结果表明，各改进均能有效提升模型性能；当迭代次数为3，共享转换矩阵数为5时，STM-CapsNet模型的平均准确率分别为85.26%、93.17%、94.96%，平均参数量为8.29 MB，比基线模型的综合性能更优。     

平行线约束下的视角无关步态识别算法

提出了一种满足一定约束条件的与视角无关的步态识别算法．首先给出了与视角无关步态特征的定义及约束条件,进而探讨了在单目平行线约束下空间点的坐标重建方法,利用相应的坐标转换因子可以从拍摄到的二维图像恢复出关键点的空间三维坐标．然后将人体建模成一个相互连接的三棍模型,利用这种坐标重建方法可以恢复出模型的参数,并定义了由模型参数表示的步态特征向量,即与视角无关的步态特征．理论推导和实验结果表明,这种方法在理想情况下能克服视角因素的影响．虽然得到的正确识别率不高,但它提供了多种视角交叉进行识别的可能性．     

基于多任务联合学习的跨视角地理定位方法

针对现有跨视角地理定位方法中视点不变特征与视角转换方法割裂导致的性能提升瓶颈问题，提出多任务联合学习模型（MJLM）。MJLM由前置图像生成模型和后置图像检索模型组成。前置生成模型首先使用逆透视映射（IPM）进行坐标变换，显式地弥合空间域差，使投影图像与真实卫星图的空间几何特征大致相同；然后通过提出的跨视角生成对抗网络（CVGAN）隐式地对图像内容及纹理进行细粒度的匹配和修复，并合成出更平滑且真实的卫星图像。后置检索模型由多视角多监督网络（MMNet）构成，能够兼顾多尺度特征和多监督学习的图像检索任务。在University-1652（无人机定位数据集）上进行实验，结果显示MJLM对无人机（UAV）定位任务的平均精确率（AP）及召回率（R@1）分别达到89.22%和87.54%，与LPN(Local Pattern Network)和MSBA(MultiScale Block Attention)相比，MJLM在R@1上分别提升了15.29%和1.07%。可见，MJLM能在一个聚合框架体系内联合处理跨视角图像生成任务及检索任务，实现基于视角转换与视点不变特征方法的融合，有效提升跨视角地...     

双视角下多特征信息融合的步态识别

针对步态识别研究中单视角识别率低、多视角算法复杂等问题,开展了双视角下的步态识别研究.考察正面视角人体的轮廓特征和侧面视角人体行走的动态特征,利用多视角步态信息互补性强的特点,分别从正面视角和侧面视角获取步态序列,预处理得到单连通人体轮廓图形,然后对正面视角提取Procrustes均值形状,侧面视角计算动作能量图(AEI)并经二维局部保留映射(2D LPP)降维,最后将2个视角下的识别结果进行融合从而获得最终的识别结果.在中科院自动化所的DatasetB数据库上进行了实验,获得了较高的识别率,达到了预期的识别效果.     

基于非对称双路识别网络的步态识别方法

步态作为一种人体躯干、关节、上下肢及各肌群的周期性行为模式,是可用于身份识别过程的一种重要生物特征.针对现有的步态识别方法大都是基于步态轮廓图或者步态能量图提取的全局特征,而忽视了对细粒度步态信息的有效利用的问题,提出了一种包括全局通路和局部通路的非对称双路识别网络.其中全局通路采用三元组损失函数,用于提取步态的全局时...     

结合注意力卷积网络与分块特征的步态识别

目前深度学习算法已经广泛应用于步态识别领域,但是大多数现有方法通过卷积神经网络提取步态全局特征时,忽略了许多包含关键步态信息的局部特征,在一定程度上削弱了步态识别的精度和提升潜力.针对上述问题,提出了一种结合注意力卷积神经网络与分块特征的跨视角步态识别方法,该方法以步态轮廓图序列为输入,每帧图片分别经过相同结构的注意力...     

基于双分支时空步态特征融合的深度学习步态识别

针对现有步态识别方法易受拍摄视角、着装变化影响的问题,提出一种融合二维无肩姿态拓扑能量图(shoulderless pose topological energy maps, SPTEM)和三维局部骨骼步态特征(local skeleton gait features, LSGF)的深度学习步态识别方法.首先,利用轻量级BlazePose姿态估计算法提取步态视频序列中的人体姿态拓扑图以生成SPTEM,在提高检测速度的同时减弱衣物变化带来的影响;然后,引入LSGF以弥补单一能量图特征在多变视角情况下识别准确率较低的不足;最后,提出结合注意力机制的时空特征提取网络模型,并在全连接层将双流特征进行一致融合.在CASIA-B数据集上对所提出方法进行验证,并与当前主流的步态识别方法进行比较,结果表明,所提出方法在跨视角和穿大衣/棉衣条件下的步态识别率都有明显提升.     

Cross-view action recognition by cross-domain learning

This paper proposes a novel cross-view human action recognition method by discovering and sharing common knowledge among different video sets captured in multiple viewpoints. We treat a specific view as target domain and the others as source domains and consequently formulate the cross-view action recognition into the cross-domain learning framework. First, the classic bag-of-visual word framework is implemented for visual feature extraction in individual viewpoints. Then, we add two transformation matrices in order to transform original action feature from different views into one common feature space, and also combine the original feature and the transformation feature to proposed the new feature mapping function for target and auxiliary domains respectively. Finally, we proposed a new method to learn the two transformation matrices in model training step based on the standard SVM solver and generate the final classifier for each human action. Extensive experiments are implemented on IXMAS, and TJU. The experimental results demonstrate that the proposed method can consistently outperform the state-of-the-arts.     

基于多尺度特征迁移学习的步态识别研究

为了解决行人步态数据集样本量较少、单特征或多特征融合的步态识别算法特征描述不足的问题,提出了一种基于多尺度特征深度迁移学习的行人步态识别方法。该算法步骤包括：改进VGG-16网络,去除网络中最后一个最大池化层（Maxpool Layer）,融合空间金字塔池化网络结构（SPP）获取行人步态能量图（GEI）的多尺度信息,利用Imagenet数据集预训练此网络模型,将提取特征能力迁移至行人步态识别网络模型中,采用行人步态样本集微调网络,修改网络中的全连接层参数,应用于行人步态识别研究。该方法在中科院自动化研究所的CASIA-B步态数据集上的识别精度达到了95.7%,与单一步态特征的步态识别方法以及融合多种步态特征的识别方法相比,步态识别率有了明显提升,表明该方法有更好的识别性能。     

Deep cross-view autoencoder network for multi-view learning

In many real-world applications, an increasing number of objects can be collected at varying viewpoints or by different sensors, which brings in the urgent demand for recognizing objects from distinct heterogeneous views. Although significant progress has been achieved recently, heterogeneous recognition (cross-view recognition) in multi-view learning is still challenging due to the complex correlations among views. Multi-view subspace learning is an effective solution, which attempts to obtain a common representation from downstream computations. Most previous methods are based on the idea of maximal correlation after feature extraction to establish the relationship among different views in a two-step manner, thus leading to performance deterioration. To overcome this drawback, in this paper, we propose a deep cross-view autoencoder network (DCVAE) that extracts the features of different views and establishes the correlation between views in one step to simultaneously handle view-specific, view-correlation, and consistency in a joint manner. Specifically, DCVAE contains self-reconstruction, newly designed cross-view reconstruction, and consistency constraint modules. Self-reconstruction ensures the view-specific, cross-view reconstruction transfers the information from one view to another view, and consistency constraint makes the representation of different views more consistent. The proposed model suffices to discover the complex correlation embedded in multi-view data and to integrate heterogeneous views into a latent common representation subspace. Furthermore, the 2D embeddings of the learned common representation subspace demonstrate the consistency constraint is valid and cross-view classification experiments verify the superior performance of DCVAE in the two-view scenario.

     

融合注意力机制的多流卷积肌电手势识别网络

针对目前表面肌电信号(surface electromyography,sEMG)端到端手势识别特征提取不充分、多手势识别准确率不高的问题,提出一种融合注意力机制的多流卷积肌电手势识别网络模型.该模型通过滑动窗口将多通道时域sEMG生成肌电子图,并使用多流卷积神经网络充分提取每个采集通道sEMG的语义特征,然后将其聚合得到丰富的多通道手势语义特征;同时从时间和特征通道维度上计算语义特征的注意力分布图,强化有用特征并弱化无用特征,进一步提高多手势识别准确率.实验使用Ninapro数据集进行训练和测试,并与主流的肌电手势识别模型进行对比.实验结果表明,该模型在识别准确率上具有更好的表现,证明了该模型的有效性.