深度时空能量特征表示下的人体行为识别

目的 利用深度图序列进行人体行为识别是机器视觉和人工智能中的一个重要研究领域,现有研究中存在深度图序列冗余信息过多以及生成的特征图中时序信息缺失等问题。针对深度图序列中冗余信息过多的问题,提出一种关键帧算法,该算法提高了人体行为识别算法的运算效率;针对时序信息缺失的问题,提出了一种新的深度图序列特征表示方法,即深度时空能量图（depth spatial-temporal energy map,DSTEM）,该算法突出了人体行为特征的时序性。方法 关键帧算法根据差分图像序列的冗余系数剔除深度图序列的冗余帧,得到足以表述人体行为的关键帧序列。DSTEM算法根据人体外形及运动特点建立能量场,获得人体能量信息,再将能量信息投影到3个正交轴获得DSTEM。结果 在MSR_Action3D数据集上的实验结果表明,关键帧算法减少冗余量,各算法在关键帧算法处理后运算效率提高了20% 30%。对DSTEM提取的方向梯度直方图（histogram of oriented gradient,HOG）特征,不仅在只有正序行为的数据库上识别准确率达到95.54%,而且在同时具有正序和反序行为的数据库上也能保持82.14%的识别准确率。结论 关键帧算法减少了深度图序列中的冗余信息,提高了特征图提取速率;DSTEM不仅保留了经过能量场突出的人体行为的空间信息,而且完整地记录了人体行为的时序信息,在带有时序信息的行为数据上依然保持较高的识别准确率。     

运动捕捉数据中足迹的谱聚类检测方法

目的 从运动捕捉数据中直接检测足迹非常困难。目前,已有的方法不能在无人工交互条件下实现对任意平地运动数据的足迹自动检测,为此提出一种基于谱聚类的足迹自动检测方法,可应用于任意角色的平地运动。方法 首先,提取角色的脚部运动特征并表示为样本。然后,分析样本模长的变化规律并自适应计算谱聚类参数。最后,使用谱聚类方法检测出足迹帧。结果 实验应用于混合运动数据集后,足迹检测的准确性良好,检测的整体准确率可达98.72%。结论 对实验结果的分析以及与基准线法的比较,证明了本文方法的普适性和有效性。     

面向Kinect运动数据的鲁棒足迹检测

目的 Kinect可实时获取运动数据且较传统的运动捕捉设备采集成本低廉,在运动数据捕捉方面得到了广泛应用。但Kinect获取的运动数据精度较低,现有运动数据处理算法难以适用。方法 针对运动数据处理的关键步骤足迹检测问题,提出面向Kinect运动数据的鲁棒足迹检测算法。首先使用自适应的双边滤波算法降低Kinect运动数据中的噪声;其次定义多种脚部运动特征并用于分类,优化分类效果;最后使用支持向量机(SVM)算法训练决策函数并用于足迹检测。结果 本文算法应用于多种类型运动数据后,可以有效地减少Kinect运动数据中的噪声,足迹检测的时间性能以及准确性良好,其中足迹检测的准确率比经典的基准线方法提高了10%左右,比K近邻方法提高了8%左右,检测一帧运动足迹的速度为K近邻方法的7倍左右。结论 对实验结果的分析证明算法具有良好的鲁棒性、时间性能以及准确率,可广泛应用于运动数据的处理之中。     

姿态特征结合2维傅里叶变换的步态识别

目的 针对现有步态识别方法易受携带物品、衣服变化等影响的问题,提出了将无肩姿态能量图、步态参数等姿态特征与步态参数的2维傅里叶变换相结合的步态识别算法。方法 基于姿态关节点序列提出忽略肩膀宽度信息的无肩姿态能量图,用以减弱衣服变化的影响;由于下肢受衣物及背包影响较小,提取3个或3个以上的下肢关节点局部结构参数,即提取中臀点与左右膝关节点、中臀点与左右踝关节点构成的两个三角形面积以及所有下肢关节点构成的多边形面积作为步态参数,增强下肢参数在步态识别中的作用;人在行走时,单肢体的运动具有一定的周期性,且肢体之间运动具有一定的协调性,用步态参数的2维幅度谱来表示单肢体运动的周期性与肢体之间运动的协调性,以提高步态参数的可区别性;在现有典型步态特征的基础上,融合本文提出的无肩姿态能量图、步态参数及其2维傅里叶变换幅度谱,采用多特征表示步态的方法,充分利用各特征的优点,提出加权平均与最大池化相结合的两层分数融合策略进行步态识别,提高了步态识别算法在携带物品、衣服变化和跨视角等条件下的正确率。结果 实验结果表明,在中国科学院自动化研究所发布的步态数据集CASIA-B上,本文方法在相同视角条件下,正常状态、背包状态和穿大衣状态的平均识别率分别为99.56%、99.23%和94.25%;在跨视角条件下,正常状态、背包状态和穿大衣状态的平均识别率分别为91.32%、85.34%和69.51%。与典型算法相比,穿大衣状态的识别率有显著提升。结论 本文方法采用加权平均与最大池化相结合的两层分数融合策略,综合利用各特征的优点及其适用场景,有效提高了步态识别的准确率,特别是减弱了衣服厚度、样式等变化对步态识别的影响。     

非局部注意力双分支网络的跨模态赤足足迹检索

目的 针对目前足迹检索中存在的采集设备种类多样化、有效的足迹特征难以提取等问题,本文以赤足足迹图像为研究对象,提出一种基于非局部（non-local）注意力双分支网络的跨模态赤足足迹检索算法。方法 该网络由特征提取、特征嵌入以及双约束损失模块构成,其中特征提取模块采用双分支结构,各分支均以ResNet50作为基础网络分别提取光学和压力赤足图像的有效特征;同时在特征嵌入模块中通过参数共享学习一个多模态的共享空间,并引入非局部注意力机制快速捕获长范围依赖,获得更大感受野,专注足迹图像整体压力分布,在增强每个模态有用特征的同时突出了跨模态之间的共性特征;为了增大赤足足迹图像类间特征差异和减小类内特征差异,利用交叉熵损失L_CE（cross-entropy loss）和三元组损失L_TRI（triplet loss）对整个网络进行约束,以更好地学习跨模态共享特征,减小模态间的差异。结果 本文将采集的138人的光学赤足图像和压力赤足图像作为实验数据集,并将本文算法与细粒度跨模态检索方法FGC （fine-grained cross-model）和跨模态行人重识别方法HC （hetero-center）进行了对比实验,本文算法在光学到压力检索模式下的mAP （mean average precision）值和rank1值分别为83.63%和98.29%,在压力到光学检索模式下的mAP值和rank1值分别为84.27%和94.71%,两种检索模式下的mAP均值和rank1均值分别为83.95%和96.5%,相较于FGC分别提高了40.01%和36.50%,相较于HC分别提高了26.07%和19.32%。同时本文算法在non-local注意力机制、损失函数、特征嵌入模块后采用的池化方式等方面进行了对比分析,其结果证实了本文算法的有效性。结论 本文提出的跨模态赤足足迹检索算法取得了较高的精度,为现场足迹比对、鉴定等应用提供了研究基础。     

自然场景下变形车牌检测模型DLPD-Net

目的 随着智能交通领域车牌应用需求的升级,以及车牌图像复杂性的提高,自然场景下的车牌识别面临挑战。为应对自然场景下车牌的不规则变形问题,充分考虑车牌的形状特征,提出了一种自然场景下的变形车牌检测模型DLPD-Net （distorted license plate detection network）。方法 该模型首次将免锚框目标检测方法应用于车牌检测任务中,不再使用锚框获取车牌候选区域,而是基于车牌热力值图与偏移值图来预测车牌中心;然后基于仿射变换寻找车牌角点位置,将变形车牌校正为接近于正面视角的平面矩形,从而实现在各种自然场景下变形车牌的检测。结果 一方面,基于数据集CD-HARD评估DLPD-Net检测算法的性能;另一方面,基于数据集AOLP （the application-oriented license plate database）和CD-HARD评估基于DLPD-Net的车牌识别系统的有效性。实验结果表明,DLPD-Net具有更好的变形车牌检测性能,能够提升车牌识别系统的识别准确率,在数据集CD-HARD上识别准确率为79.4%,高出其他方法4.4% 12.1%,平均处理时间为237 ms。在数据集AOLP上取得了96.6%的识别准确率,未使用扩充数据集的情况下识别准确率达到了94.9%,高出其他方法1.6% 25.2%,平均处理时间为185 ms。结论 本文提出的自然场景下的变形车牌检测模型DLPD-Net,能够实现在多种变形条件下的车牌检测,鲁棒性强,对遮挡、污垢和图像模糊等复杂自然环境下的车牌检测具有良好检测效果,同时,基于该检测模型的车牌识别系统在非受限的自然场景下具有更高的实用性。     

正交约束多头自注意力的场景文本识别

目的 场景文本识别（scene text recognition，STR）是计算机视觉中的一个热门研究领域。最近，基于多头自注意力机制的视觉Transformer （vision Transformer，ViT）模型被提出用于STR，以实现精度、速度和计算负载的平衡。然而，没有机制可以保证不同的自注意力头确实捕捉到多样性的特征，这将导致使用多头自注意力机制的ViT模型在多样性极强的场景文本识别任务中表现不佳。针对这个问题，提出了一种新颖的正交约束来显式增强多个自注意力头之间的多样性，提高多头自注意力对不同子空间信息的捕获能力，在保证速度和计算效率的同时进一步提高网络的精度。方法 首先提出了针对不同自注意力头上Q （query）、K （key）和V （value）特征的正交约束，这可以使不同的自注意力头能够关注到不同的查询子空间、键子空间、值子空间的特征，关注不同子空间的特征可以显式地使不同的自注意力头捕捉到更具差异的特征。还提出了针对不同自注意力头上Q 、K 和V 特征线性变换权重的正交约束，这将为Q、K和V特征的学习提供正交权重空间的解决方案，并在网络训练中带来隐式正则化的效果。结果 实验在7个数据集上与基准方法进行比较，在规则数据集Street View Text （SVT）上精度提高了0.5%；在不规则数据集CUTE80 （CT）上精度提高了1.1%；在7个公共数据集上的整体精度提升了0.5%。结论 提出的即插即用的正交约束能够提高多头自注意力机制在STR任务中的特征捕获能力，使ViT模型在STR任务上的识别精度得到提高。本文代码已公开： https：//github.com/lexiaoyuan/XViTSTR。     

俯视深度头肩序列行人再识别

目的 行人再识别是指在一个或者多个相机拍摄的图像或视频中实现行人匹配的技术,广泛用于图像检索、智能安保等领域。按照相机种类和拍摄视角的不同,行人再识别算法可主要分为基于侧视角彩色相机的行人再识别算法和基于俯视角深度相机的行人再识别算法。在侧视角彩色相机场景中,行人身体的大部分表观信息可见;而在俯视角深度相机场景中,仅行人头部和肩部的结构信息可见。现有的多数算法主要针对侧视角彩色相机场景,只有少数算法可以直接应用于俯视角深度相机场景中,尤其是低分辨率场景,如公交车的车载飞行时间（time of flight,TOF）相机拍摄的视频。因此针对俯视角深度相机场景,本文提出了一种基于俯视深度头肩序列的行人再识别算法,以期提高低分辨率场景下的行人再识别精度。方法 对俯视深度头肩序列进行头部区域检测和卡尔曼滤波器跟踪,获取行人的头部图像序列,构建头部深度能量图组（head depth energy map group,HeDEMaG）,并据此提取深度特征、面积特征、投影特征、傅里叶描述子和方向梯度直方图（histogram of oriented gradient,HOG）特征。计算行人之间头部深度能量图组的各特征之间的相似度,再利用经过模型学习所获得的权重系数对各特征相似度进行加权融合,从而得到相似度总分,将最大相似度对应的行人标签作为识别结果,实现行人再识别。结果 本文算法在公开的室内单人场景TVPR （top view person re-identification）数据集、自建的室内多人场景TDPI-L （top-view depth based person identification for laboratory scenarios）数据集和公交车实际场景TDPI-B （top-view depth based person identification for bus scenarios）数据集上进行了测试,使用首位匹配率（rank-1）、前5位匹配率（rank-5）、宏F1值（macro-F1）、累计匹配曲线（cumulative match characteristic,CMC）和平均耗时等5个指标来衡量算法性能。其中,rank-1、rank-5和macro-F1分别达到61%、68%和67%以上,相比于典型算法至少提高了11%。结论 本文构建了表达行人结构与行为特征的头部深度能量图组,实现了适合低分辨率行人的多特征表达;提出了基于权重学习的相似度融合,提高了识别精度,在室内单人、室内多人和公交车实际场景数据集中均取得了较好的效果。     

赤足足迹识别研究综述

赤足足迹识别技术是图像识别技术的一个分支，在刑侦、医疗以及安全领域发挥着重要作用，有望成为一种新的进行人身识别的手段。但是该技术尚未形成较为统一的框架，也没有一个规范化的流程。为了给今后的研究人员提供指导，需要规范不同足迹图像的识别流程，并对赤足足迹识别技术相关研究进行归纳与总结。首先对赤足足迹识别研究的背景和意义进行阐述，然后回顾该技术的发展脉络，并根据采集方式的不同将赤足足迹图像分为油墨捺印足迹图像、足底扫描图像、光学足迹采集设备采集的足迹图像以及足迹压力采集系统采集的足压图像四类，并指出后两种图像是目前赤足足迹识别研究的热点。之后分别从赤足足迹数据集、图像预处理、识别方法三个方面分析赤足足迹识别技术的研究现状。其中，识别方法分为传统方法和基于深度学习的方法，后者又进一步划分为网络结构创新方法和损失函数优化方法。在给出识别方法的评价指标后，从多个方面对各种方法进行对比。最后指出该技术目前面临的问题，并对其今后的发展方向进行展望。     

持续学习改进的人脸表情识别

目的 大量标注数据和深度学习方法极大地提升了图像识别性能。然而,表情识别的标注数据缺乏,训练出的深度模型极易过拟合,研究表明使用人脸识别的预训练网络可以缓解这一问题。但是预训练的人脸网络可能会保留大量身份信息,不利于表情识别。本文探究如何有效利用人脸识别的预训练网络来提升表情识别的性能。方法 本文引入持续学习的思想,利用人脸识别和表情识别之间的联系来指导表情识别。方法指出网络中对人脸识别整体损失函数的下降贡献最大的参数与捕获人脸公共特征相关,对表情识别来说为重要参数,能够帮助感知面部特征。该方法由两个阶段组成：首先训练一个人脸识别网络,同时计算并记录网络中每个参数的重要性;然后利用预训练的模型进行表情识别的训练,同时通过限制重要参数的变化来保留模型对于面部特征的强大感知能力,另外非重要参数能够以较大的幅度变化,从而学习更多表情特有的信息。这种方法称之为参数重要性正则。结果 该方法在RAF-DB（real-world affective faces database）,CK+（the extended Cohn-Kanade database）和Oulu-CASIA这3个数据集上进行了实验评估。在主流数据集RAF-DB上,该方法达到了88.04%的精度,相比于直接用预训练网络微调的方法提升了1.83%。其他数据集的实验结果也表明了该方法的有效性。结论 提出的参数重要性正则,通过利用人脸识别和表情识别之间的联系,充分发挥人脸识别预训练模型的作用,使得表情识别模型更加鲁棒。     

基于鞋印图像的性别预测方法

鞋印是作案人在案发现场经常遗留的痕迹，承载人的性别、身高等属性信息。基于鞋印的性别预测对快速排查嫌疑人具有重要作用，其方法主要由刑侦人员凭借经验判断，需要大量领域知识，而少数自动预测方法是基于人工提取的特征和经验模型进行预测，受测量误差的影响，导致预测准确率降低。针对该问题，提出基于鞋印图像的端到端预测方法。采用卷积神经网络提取鞋印图像特征，引入通道注意力模块对特征权重进行重新分配，使模型重点关注鞋印图像中对性别起显著作用的部分。在此基础上，将特征图输入到性别预测模块进行预测。此外，分别构建适用于单枚和多枚鞋印应用场景的数据集SiSIS和SeSIS，根据在案发现场中鞋印可能出现的情况，设计鞋印方向差异、鞋印残缺和弹性形变的数据增广方式。实验结果表明，该方法在SiSIS和SeSIS数据集上的预测准确率分别达到91.80%和99.35%，相比现有基于鞋印的性别预测方法，具有较优的预测性能。     

K步稳定的鞋印花纹图像自动聚类

目的 鞋印是刑事侦查的重要物证之一,如何对积累的大量鞋印花纹图像进行自动归类管理是刑事技术迫切需要解决的问题之一。与其他类图像不同,鞋印花纹图像具有种类多但数目未知、同类花纹分布不均匀且同类花纹数目少的特点。基于鞋印花纹图像的这些特点,用目前典型的聚类算法对鞋印花纹图像集进行聚类,并不能取得很好的效果。在对鞋印花纹图像进行分析的基础上,提出一种K步稳定的鞋印花纹图像自动聚类算法。方法 对已标记的鞋印花纹图像进行统计发现,各类鞋印花纹之间在特征空间上存在互不相交的区域(本文称为隔离带)。算法的核心思想是寻找各类鞋印花纹之间的隔离带,来将各类分开。过程为:以单调递增或递减的方式调整特征空间中判定两点为一类的阈值,得到数据集的多次划分;若在连续K次划分的过程中,某一类的成员不发生变化,则说明这K次调整是在隔离带中进行的,即聚出一类,并从数据集中删除已标记的数据;选择下一个阈值对剩余的数据集进行划分,输出K步不变的类;依此类推,直到剩余数据集为空,聚类完成。结果 在两类公开测试数据集和实际鞋印花纹数据集上进行实验,本文算法的主要性能指标都超过典型算法,其中在包含5792枚实际鞋印花纹数据集上的聚类准确率和F-Measure值分别达到了99.68%和95.99%。结论 针对鞋印花纹图像特点,提出了一种通过寻找各类之间的隔离带进行自动聚类的算法,并在实际应用中取得了很好的效果。且算法性能受参数的变化以及类的形状影响较小。本文算法同样适用于具有类似特点的其他数据集的自动聚类。     

Rotation and intensity invariant shoeprint matching using Gabor transform with application to forensic science

Shoe marks at the place of crime provide valuable forensic evidence. This paper presents a technique for rotation and intensity invariant automatic shoeprint matching. Multiresolution features of a shoeprint have been extracted using Gabor transform. Rotation of the shoeprint image has been estimated using Radon transform and is compensated by rotating the features in opposite direction. The performance of the proposed algorithm has been compared with the technique in which the features have been determined using Fourier transform and its power spectral density. Shoeprint database has been generated by inviting participants to tread on an inkpad and then stamp on a piece of paper. Euclidian distance classifier has been used to find a suitable match. The performance of the proposed algorithm has been evaluated in terms of correct recognition rate computed using best match score at rank ‘1’ and cumulative match score for the first four matches with rotation, intensity and/or mixed attacks. A good matching performance has been achieved with rotation attack; typically 91 percent at rank ‘1’ and 100 percent at rank ‘2’ for full prints. Performance of the proposed technique is better even for partial shoeprints. Experimentation has also been carried out by perturbing shoeprint images with Gaussian white noise, salt and pepper noise to evaluate the robustness of the proposed technique.     

Predicting audio step feedback for real walking in virtual environments

When navigating in virtual environments by using real walking, the correct auditory step feedback is usually ignored, although this could give more information to the user about the ground he is walking on. One reason for this is time constraints that hinder a replay of a walking sound synchronous to the haptic step feedback when walking. In order to add a matching step feedback to virtual environments, this paper introduces a calibration‐free system, which can predict the occurrence time of a step‐down event based on an analysis of the user's gait. For detecting reliable characteristics of the gait, accelerometers and gyroscopes are used, which are mounted on the user's foot. Because the proposed system is capable of detecting the characteristic events in the foot's swing phase, it allows a prediction that gives enough time to replay sound synchronous to the haptic sensation of walking. In order to find the best prediction regarding prediction time and accuracy, data gathered in an experiment is analyzed regarding reliably occurring characteristics in the human gait. Based on this, a suitable prediction algorithm is proposed. Copyright © 2014 John Wiley & Sons, Ltd.     

The energy cost and heart-rate response of trained and untrained subjects walking and running in shoes and boots

Abstract

To determine the difference in the energy cost of walking and running in a lightweight athletic shoe and a heavier boot, fourteen male subjects (six trained and eight untrained) has their oxygen uptake ([Vdot]O₂) measured while walking and running on a treadmill. They wore each type of footwear, athletic shoes of the subjects' choice (average weight per pair = 616 g) and leather military boots (average weight per pair = 1776g), at three walking speeds (4·0, 5·6 and 7·3 km hour^?1) and three running speeds (8·9, 10·5 and 12·1 km hour^?1). The trials for running were repeated at the same three speeds with the subjects wearing shoes and these shoes plus lead weights. The weight of the shoes plus the lead weights was equal to the weight of the subjects' boots. The [Vdot]O₂values with boots were significantly (p < 0·05) higher (5·9?10·2%) at all speeds, except the slowest walk, 4·0 km hour^?1Also, [Vdot]O₂with shoes plus lead weights were significantly (p<0·05) higher than shoes alone. Weight alone appeared to account for 48-70% of the added energy cost of wearing boots. The relative energy cost ([Vdot]O₂, ml kg^?1?) of trained and untrained subjects were the same at all speeds. These data indicate that energy expenditure is increased by wearing boots. A large portion of this increase may be attributed to weight of footwear. In addition, the increased energy cost of locomotion with boots appears to place a limiting stress on untrained subjects.     

鞋底波折型花纹特征提取方法研究

文章介绍了一种应用于足迹识别系统中鞋底波折型花纹特征提取方法.首先对鞋底花纹图像进行预处理,然后在边缘检测的基础上进行边缘跟踪,提取出被识别对象的完整的边缘轮廓,进一步对波折型花纹进行识别并且提取出波长、振幅等几何特征,构建图像的特征向量,为足迹识别系统的进一步研究打下了基础.     

The energy cost of women walking and running in shoes and boots∗

The purpose of this study was to determine the difference in energy cost for women walking and running in shoes versus heavier boots. Seven subjects wore athletic shoes (mean weight = 514 ± 50g) and leather military boots (mean weight = 1371 ± 104g) at three walking speeds (4·0, 5·6 and 7·3km/hour) and two running speeds (8middot;9 and 10·5 km/hour). During each walking and running trial oxygen uptake ([Vdot]O₂ ml kg^?1 min^?1) was measured. The [Vdot]O₂ for women wearing boots were significantly higher (P < 0·05) than for shoes for both walking and running, with the exception of the slowest walking speed. The average increment in energy cost was 1·0% per 100-g increase in weight per pair of footwear. These results are similar to those reported for men from other studies which found increments in energy cost of 0·7 to 0·9% per 100-g increase in weight of footwear.