融合自注意力机制的生成对抗网络跨视角步态识别

目的 针对目前基于生成式的步态识别方法采用特定视角的步态模板转换、识别率随视角跨度增大而不断下降的问题,本文提出融合自注意力机制的生成对抗网络的跨视角步态识别方法。方法 该方法的网络结构由生成器、视角判别器和身份保持器构成,建立可实现任意视角间步态转换的网络模型。生成网络采用编码器—解码器结构将输入的步态特征和视角指示器连接,进而实现不同视角域的转换,并通过对抗训练和像素级损失使生成的目标视角步态模板与真实的步态模板相似。在判别网络中,利用视角判别器来约束生成视角与目标视角相一致,并使用联合困难三元组损失的身份保持器以最大化保留输入模板的身份信息。同时,在生成网络和判别网络中加入自注意力机制,以捕捉特征的全局依赖关系,从而提高生成图像的质量,并引入谱规范化使网络稳定训练。结果 在CASIA-B(Chinese Academy of Sciences’ Institute of Automation gait database——dataset B)和OU-MVLP(OU-ISIR gait database-multi-view large population dataset)数据集上进行实验,当引入自注意力模块和身份保留损失训练网络时,在CASIA-B数据集上的识别率有显著提升,平均rank-1准确率比GaitGAN(gait generative adversarial network)方法高15%。所提方法在OU-MVLP大规模的跨视角步态数据库中仍具有较好的适用性,可以达到65.9%的平均识别精度。结论 本文方法提升了生成步态模板的质量,提取的视角不变特征更具判别力,识别精度较现有方法有一定提升,能较好地解决跨视角步态识别问题。     

共享转换矩阵的胶囊网络及其融合视角特征的跨视角步态识别

步态识别具有非接触性、非侵犯性、易感知等优势,然而,在跨视角的步态识别中,行人的轮廓会随人的视角的变化而不同,从而影响步态识别的性能。为此,提出了共享转换矩阵的胶囊网络及其改进的动态路由算法,从而减少了网络训练参数。在此基础上,通过融合视角特征,利用Triplet损失与Margin损失提出了融合视角特征的跨视角步态识别模型。在CASIA-B数据集上的实验结果表明,使用共享转换矩阵的胶囊网络提取步态特征是有效的,在正常行走、携带背包、穿戴外套条件下,所提融合视角特征的模型在识别准确率上比基于卷积神经网络的跨视角步态识别方法提高了4.13%,且对跨较大视角的步态识别具有更好的性能。     

基于双分支时空步态特征融合的深度学习步态识别

针对现有步态识别方法易受拍摄视角、着装变化影响的问题,提出一种融合二维无肩姿态拓扑能量图(shoulderless pose topological energy maps, SPTEM)和三维局部骨骼步态特征(local skeleton gait features, LSGF)的深度学习步态识别方法.首先,利用轻量级BlazePose姿态估计算法提取步态视频序列中的人体姿态拓扑图以生成SPTEM,在提高检测速度的同时减弱衣物变化带来的影响;然后,引入LSGF以弥补单一能量图特征在多变视角情况下识别准确率较低的不足;最后,提出结合注意力机制的时空特征提取网络模型,并在全连接层将双流特征进行一致融合.在CASIA-B数据集上对所提出方法进行验证,并与当前主流的步态识别方法进行比较,结果表明,所提出方法在跨视角和穿大衣/棉衣条件下的步态识别率都有明显提升.     

基于生成对抗网络的跨视角步态特征提取

步态是一种能够在远距离、非侵犯的条件下识别身份的生物特征,但在实际场景中,步态很容易受到拍摄视角、行走环境、物体遮挡、着装等因素的影响.在跨视角识别问题上,现有方法只注重将多种视角的步态模板转化到固定视角下,且视角跨度的增大加深了错误的累积.为了提取有效的步态特征用于跨视角步态识别,本文提出了一种基于生成对抗网络的跨视角步态特征提取方法,该方法只需训练一个模型即可将步态模板转换到任意视角下的正常行走状态,并最大化地保留原本的身份特征信息,从而提高步态识别的准确率.在CASIA-B和OUMVLP数据集上的实验结果表明,该方法在解决跨视角步态识别问题上具有一定的鲁棒性和可行性.     

面向多人多生物属性的跨视角步态追踪系统

步态识别是一项新兴的生物识别技术, 可以被广泛地应用在刑事安防, 疫情传播链追踪等领域, 该项技术的本质在于通过人的人体体型和行走姿态来识别人的身份, 年龄, 性别等多种生物属性. 相比其他生物识别技术, 步态识别具有远距离, 全视角, 无感知, 防伪装等显著优势. 基于此, 本文设计了一款面向多人多生物属性的跨视角步态追踪系统, 该系统充分考虑了现实应用场景中存在的多人, 跨视角, 服饰变化等协变量对于步态识别准确率的影响, 并通过更加鲁棒的算法设计从复杂的环境中提取行人的步态信息从而对其身份, 年龄, 性别等生物属性进行准确的分析. 实验结果表明, 在跨视角和多种行走状态的情况下, 本系统中基于深度学习的步态识别算法模型的准确率可以达到88.0%, 在多视角的情况下, 性别分类准确率可以达到94.8%, 年龄估计的平均年龄误差约为7.92岁, 标准差约为8.11, 实验结果均优于近年来相关领域的算法, 达到相对领先的水平. 同时系统开发成本低, 面向落地应用场景, 并支持实时性步态检测.     

基于视角转换的多视角步态识别方法

针对步态识别中步态视角变化、步态数据样本量少及较少利用步态时间信息等问题,提出一种基于视角转换的步态识别方法。通过VTM-GAN网络,将不同视角下的步态能量图及含有步态时间信息的彩色步态能量图,统一映射到保留步态信息最丰富的侧视图视角,以此突破步态识别中多视角的限制,在视角转换的基础上,通过构建侧视图下的步态正负样本对来扩充用于网络训练的数据,并采用基于距离度量的时空双流卷积神经网络作为步态识别网络。在CASIA-B数据集上的实验结果表明,该方法在各状态、各角度下的平均识别准确率达到92.5%,优于3DCNN、SST-MSCI等步态识别方法。     

遮挡条件下的步态图像时空修复网络及其应用

目的 当前,基于视觉的步态识别方法多基于完整的步态序列图像。然而,现实场景拍摄下的行人难免被遮挡,以至于获取的步态图像不完整,对识别结果有很大影响。如何处理大面积遮挡是步态识别中一个具有挑战性且重要的问题。针对此,提出了一种步态时空序列重建网络（gait spatio-temporal reconstruction network,GSTRNet）,用于修复被遮挡的步态序列图像。方法 使用基于3D卷积神经网络和Transformer的GSTRNet来修复步态序列,在修复每一帧步态图像的空间信息的同时保持帧与帧之间的时空连贯性。GSTRNet通过引入YOLOv5(you only look once)网络来检测步态图像的局部遮挡区域,并将其作为先验知识为遮挡修复区域分配更高的修复权值,实现遮挡区域的局部修复,将局部修复步态图与原始遮挡图像进行融合,生成完整的修复步态图。同时,在GSTRNet中引入三元组特征损失和重建损失组成的联合损失函数来优化修复网络,提升修复效果。最终,以修复完整的步态序列图像为特征进行身份识别。结果 本文在大规模步态数据集OU＿MVLP(the OU-ISIR ga...     

基于双通道循环一致性GAN的跨视角步态识别研究

步态识别系统在生物识别领域显示出巨大的潜力,然而步态识别的准确性很容易受到视角的影响。为解决这一问题,提出的方法基于循环生成对抗网络(cycle generative adversarial network, Cycle-GAN)的网络结构,结合新的特征提取模块以及多重损失函数,提出了一种用于跨视角步态识别的网络模型双通道循环一致性生成对抗网络(two-channel cycle consistency generative adversarial network, TCC-GAN)。该网络首先将步态能量图像从任意视角转换为目标视角图像,然后进行比对从而实现身份识别。TCC-GAN分别引入了重建损失、视角分类和身份保持损失来指导生成器生成具有目标视角的步态图像并同时保留身份信息。为了避免可能存在的模式崩塌问题,并保证各个输入和输出以有意义的方式进行映射,模型中还利用了循环一致性损失。数据集CASIA-B和OU-MVLP上的实验结果表明:所提TCC-GAN模型的跨视角识别率高于目前大多数其他基于GAN的跨视角步态识别模型。     

结合注意力卷积网络与分块特征的步态识别

目前深度学习算法已经广泛应用于步态识别领域,但是大多数现有方法通过卷积神经网络提取步态全局特征时,忽略了许多包含关键步态信息的局部特征,在一定程度上削弱了步态识别的精度和提升潜力。针对上述问题,提出了一种结合注意力卷积神经网络与分块特征的跨视角步态识别方法,该方法以步态轮廓图序列为输入,每帧图片分别经过相同结构的注意力卷积神经网络融合成整体特征,在网络中加入有效的注意力机制CBAM能显式地建模各空间及通道的重要程度,增大显著区域特征的权重;整体特征被水平分成两块进行训练和步态识别,提取的步态局部特征更适合精细的步态分类。在步态数据集CASIA-B和OU-ISIR-MVLP上进行跨视角步态识别实验,结果证明在训练数据集充足与不足的条件下,该方法在识别精度上均优于现有方法。     

基于多支路残差深度网络的跨视角步态识别方法

针对基于卷积神经网络的步态识别模型不能充分利用局部细粒度信息的问题,提出基于多支路残差深度网络的跨视角步态识别方法.将多支路网络引入卷积神经网络中,分别提取步态轮廓序列图中不同粒度的特征,并利用残差学习和多尺度特征融合技术,增强网络的特征学习能力.在公开步态数据集CASIA-B和OU-MVLP上的实验证实文中方法的识别准确率较高.     

Learning to Perceive Objects for Autonomous Navigation

Current machine perception techniques that typically use segmentation followed by object recognition lack the required robustness to cope with the large variety of situations encountered in real-world navigation. Many existing techniques are brittle in the sense that even minor changes in the expected task environment (e.g., different lighting conditions, geometrical distortion, etc.) can severely degrade the performance of the system or even make it fail completely. In this paper we present a system that achieves robust performance by using local reinforcement learning to induce a highly adaptive mapping from input images to segmentation strategies for successful recognition. This is accomplished by using the confidence level of model matching as reinforcement to drive learning. Local reinforcement learning gives rises to better improvement in recognition performance. The system is verified through experiments on a large set of real images of traffic signs.     

基于原型与正交投影学习的图像集分类算法

为了利用图像集中的集合信息来提高图像识别精度以及对图像变化的鲁棒性,从而大幅降低诸如姿态、光照、遮挡和未对齐等因素对识别精度的影响,提出了一种用于图像集分类的图像集原型与投影学习算法（LPSOP）。该算法针对每个图像集学习有代表性的点（原型）以及一个正交的全局投影矩阵,使得在目标子空间的每个图像集可以被最优地分类到同类的最近原型集中。用学习到的原型来代表该图像集,既能降低冗余图像干扰,又能减少存储和计算开销,学习到的投影矩阵则能够大幅提高分类精度与噪声鲁棒性。在UCSD/Honda、CMU MoBo和YouTube celebrities这三个数据集上的实验结果表明,LPSOP比目前流行的图像集分类算法具有更高的识别精度和更好的鲁棒性。     

主动学习算法综述

主动学习算法作为构造有效训练集的方法,其目标是通过迭代抽样,寻找有利于提升分类效果的样本,进而减少分类训练集的大小,在有限的时间和资源的前提下,提高分类算法的效率。主动学习已成为模式识别、机器学习和数据挖掘领域的研究热点问题。介绍了主动学习的基本思想,一些最新研究成果及其算法分析,并提出和分析了有待进一步研究的问题。     

深度学习支持下的情感识别探讨

随着人工神经网络技术的发展,深度学习逐渐成为人工智能领域的研究重点。在情感识别领域,深度学习也有着极为强大的理论与技术优势,其能够显著提升情感识别的准确性。同时,深度学习下的情感识别对于智慧化学习环境的营造有着积极意义,所以将之应用到教育教学工作中是切实可行的。本文对深度学习进行了简单介绍,并分析了当前情感识别的研究进展,进而对深度学习支持下的情感识别构建和应用展开探讨。     

基于Mixer Layer的人脸表情识别

目前人脸表情识别研究多数采用卷积神经网络(CNN)提取人脸特征并分类, CNN的缺点是网络结构复杂, 消耗计算资源. 针对以上缺点, 本文采用基于多层感知机(MLP)的Mixer Layer网络结构用于人脸表情识别. 采用数据增强和迁移学习方法解决数据集样本不足的问题, 搭建了不同层数的Mixer Layer网络. 经过实验比较, 4层Mixer Layer网络在CK+和JAFFE 数据集上的识别准确率分别达到了98.71%和95.93%, 8层Mixer Layer网络在Fer2013数据集上的识别准确率达到了63.06%. 实验结果表明, 无卷积结构的Mixer Layer网络在人脸表情识别任务上表现出良好的学习能力和泛化能力.     

Learning person-specific models for facial expression and action unit recognition

A key assumption of traditional machine learning approach is that the test data are draw from the same distribution as the training data. However, this assumption does not hold in many real-world scenarios. For example, in facial expression recognition, the appearance of an expression may vary significantly for different people. As a result, previous work has shown that learning from adequate person-specific data can improve the expression recognition performance over the one from generic data. However, person-specific data is typically very sparse in real-world applications due to the difficulties of data collection and labeling, and learning from sparse data may suffer from serious over-fitting. In this paper, we propose to learn a person-specific model through transfer learning. By transferring the informative knowledge from other people, it allows us to learn an accurate model for a new subject with only a small amount of person-specific data. We conduct extensive experiments to compare different person-specific models for facial expression and action unit (AU) recognition, and show that transfer learning significantly improves the recognition performance with a small amount of training data.     

Learning to classify by ongoing feature selection

Existing classification algorithms use a set of training examples to select classification features, which are then used for all future applications of the classifier. A major problem with this approach is the selection of a training set: a small set will result in reduced performance, and a large set will require extensive training. In addition, class appearance may change over time requiring an adaptive classification system. In this paper, we propose a solution to these basic problems by developing an on-line feature selection method, which continuously modifies and improves the features used for classification based on the examples provided so far. The method is used for learning a new class, and to continuously improve classification performance as new data becomes available. In ongoing learning, examples are continuously presented to the system, and new features arise from these examples. The method continuously measures the value of the selected features using mutual information, and uses these values to efficiently update the set of selected features when new training information becomes available. The problem is challenging because at each stage the training process uses a small subset of the training data. Surprisingly, with sufficient training data the on-line process reaches the same performance as a scheme that has a complete access to the entire training data.     

基于OpenCV与人脸检测的自动筷子配发机器人的设计

在集体用餐环境如食堂等环境中就餐时,时常会遇到不方便拿取餐具的情况,针对此种情况十分需要一个能方便人们拿取餐具缓解人流拥堵的机器人。正如人的眼睛一般,机器通过视觉模块来感知环境,利用深度学习和OpenCV-Python使机器像人一样处理图片,搭载Nvidia JETSON Nano和智能小车平台,为智能筷子(餐具)配发机器人提供技术实现。     

Good recognition is non-metric

Recognition is the fundamental task of visual cognition, yet how to formalize the general recognition problem for computer vision remains an open issue. The problem is sometimes reduced to the simplest case of recognizing matching pairs, often structured to allow for metric constraints. However, visual recognition is broader than just pair-matching: what we learn and how we learn it has important implications for effective algorithms. In this review paper, we reconsider the assumption of recognition as a pair-matching test, and introduce a new formal definition that captures the broader context of the problem. Through a meta-analysis and an experimental assessment of the top algorithms on popular data sets, we gain a sense of how often metric properties are violated by recognition algorithms. By studying these violations, useful insights come to light: we make the case for local distances and systems that leverage outside information to solve the general recognition problem.     

使用范围数据的三维物体的识别

本文所使用的系统有二个工作阶段。在知识阶段,含有单个物体的景物每次一个地示给系统,景物的范围数据可利用范围测距仪获得。根据区域特性和各区域间的关系建立每一景物的描述并将这种描述存储作为物体的模型。在识别阶段,以与知识阶段同样的方式对未知景物的特征进行描述,然后把这一描述和物体模型匹配,结果可实现成堆物体按顺序地逐个识别。为提高匹配效率,可把数据驱动和模型驱动搜索过程紧密结合。实验结果表明,这一方法是很有希望的。