基于多支路残差深度网络的跨视角步态识别方法

针对基于卷积神经网络的步态识别模型不能充分利用局部细粒度信息的问题,提出基于多支路残差深度网络的跨视角步态识别方法.将多支路网络引入卷积神经网络中,分别提取步态轮廓序列图中不同粒度的特征,并利用残差学习和多尺度特征融合技术,增强网络的特征学习能力.在公开步态数据集CASIA-B和OU-MVLP上的实验证实文中方法的识别准确率较高.     

共享转换矩阵的胶囊网络及其融合视角特征的跨视角步态识别

步态识别具有非接触性、非侵犯性、易感知等优势,然而,在跨视角的步态识别中,行人的轮廓会随人的视角的变化而不同,从而影响步态识别的性能。为此,提出了共享转换矩阵的胶囊网络及其改进的动态路由算法,从而减少了网络训练参数。在此基础上,通过融合视角特征,利用Triplet损失与Margin损失提出了融合视角特征的跨视角步态识别模型。在CASIA-B数据集上的实验结果表明,使用共享转换矩阵的胶囊网络提取步态特征是有效的,在正常行走、携带背包、穿戴外套条件下,所提融合视角特征的模型在识别准确率上比基于卷积神经网络的跨视角步态识别方法提高了4.13%,且对跨较大视角的步态识别具有更好的性能。     

基于多分类器融合的步态识别方法

为了提高现有基于智能手机加速度传感器步态身份识别的性能,提出了一种基于多分类器融合（MCF）的识别方法。首先,针对现有方法所提取的步态特征较为单一的问题,对单个步态周期提取相对匀变加速度的速度变化量,以及单位时间内加速度变化量作为两类新特征（共16个）;其次,将新特征结合常用的时域、频域特征组成新的特征集,用于训练识别效果与训练时间俱佳的多个分类器;最后,采用多尺度投票法（MSV）对多分类器的输出进行融合处理,得到最终的分类结果。为了检测该方法的性能,采集了32个志愿者的步态数据。实验结果表明,新特征对于单个分类器的识别率平均提升5.95个百分点,最终通过MSV融合算法的识别率为97.78%。     

双分支特征融合网络的步态识别算法

目的 在步态识别算法中,基于外观的方法准确率高且易于实施,但对外观变化敏感;基于模型的方法对外观变化更加鲁棒,但建模困难且准确率较低。为了使步态识别算法在获得高准确率的同时对外观变化具有更好的鲁棒性,提出了一种双分支网络融合外观特征和姿态特征,以结合两种方法的优点。方法 双分支网络模型包含外观和姿态两条分支,外观分支采用GaitSet网络从轮廓图像中提取外观特征;姿态分支采用5层卷积网络从姿态骨架中提取姿态特征。在此基础上构建特征融合模块,融合外观特征和姿态特征,并引入通道注意力机制实现任意尺寸的特征融合,设计的模块结构使其能够在融合过程中抑制特征中的噪声。最后将融合后的步态特征应用于识别行人身份。结果 实验在CASIA-B （Institute of Automation,Chinese Academy of Sciences,Gait Dataset B）数据集上通过跨视角和不同行走状态两种实验设置与目前主流的步态识别算法进行对比,并以Rank-1准确率作为评价指标。在跨视角实验设置的MT （medium-sample training）划分中,该算法在3种行走状态下的准确率分别为93.4%、84.8%和70.9%,相比性能第2的算法分别提升了1.4%、0.5%和8.4%;在不同行走状态实验设置中,该算法在两种行走状态下的准确率分别为94.9%和90.0%,获得了最佳性能。结论 在能够同时获取外观数据和姿态数据的场景下,该算法能够有效地融合外观信息和姿态信息,在获得更丰富的步态特征的同时降低了外观变化对步态特征的影响,提高了步态识别的性能。     

基于多尺度特征融合的行人重识别方法

针对行人重识别任务在特征提取时缺乏对行人特征尺度变化的考虑,导致其易受环境影响而具有低行人重识别准确率的问题,提出了一种基于多尺度特征融合的行人重识别方法。首先,在网络浅层通过混合池化操作来提取多尺度的行人特征,从而帮助网络提升特征提取能力;然后,在残差块内添加条形池化操作以分别提取水平和竖直方向的远程上下文信息,从而避免无关区域的干扰;最后,在残差网络之后利用不同尺度的空洞卷积进一步保留多尺度的特征,从而帮助模型灵活有效地解析场景结构。实验结果表明,在Market-1501数据集上,所提方法的Rank1达到95.9%,平均精度均值（mAP）为88.5%;在DukeMTMC-reID数据集上,该方法的Rank1达到90.1%,mAP为80.3%。可见所提方法能够较好地保留行人特征信息,从而提高行人重识别任务准确率。     

结合轮廓与姿态的时空融合步态识别方法

现有的大多数步态识别方法是基于轮廓的步态识别方法，然而轮廓容易受到遮挡的影响，从而导致识别准确率下降。在现实的监控场景下，遮挡几乎是不可避免的，提高遮挡情况下的步态识别精度是算法能够“落地”于实际应用的前提。针对此问题，提出了结合轮廓与姿态的时空融合步态识别方法。利用姿态具有抵抗遮挡的能力，设计多模态空间特征融合模块，利用特征重用策略和模态融合策略以提高空间特征的信息容量；设计多尺度时间特征提取模块，利用独立分支提取不同时间尺度下的时间信息，提出一种基于注意力的特征融合策略以自适应地整合时间信息；设计空间特征集合分支，以深监督方式提高时空特征的表达能力。在公开数据集上的实验结果表明了所提方法的有效性，模型在遮挡情况下具有较好的鲁棒性。     

基于多特征融合卷积的步态识别算法研究

针对GaitSet算法中主干网络学习能力和分类能力较弱,提出基于多特征融合卷积网络的步态识别算法(MFFC-GaitSet)。算法通过多特征融合卷积重建GaitSet网络增强网络学习能力,同时对三元组损失函数进行平滑优化;利用形态学处理对步态轮廓图进行修补。算法在Casia-B数据集上进行验证,步态识别精度达到85.811%,提高2.6%;模型权重仅增加6%。算法可以有效减少复杂环境对步态识别的负面影响,实现复杂环境下高精度的步态识别。实验结果表明,方法能够实现较为精确的步态识别,并具有较佳的鲁棒性和泛化能力。     

一种可用于入侵防范的步态识别方法研究

提出一种可用于入侵防范系统中的步态识别方法。该方法以足底压力信息为基础,采用卷积神经网络模型进行步态特征提取。首先,用压力测试板采集行人的足底压力信息并作相应的预处理;然后,结合K均值聚类和卷积神经网络方法的自学习特性得到足底压力信息的特征表示;最后,对所获得的特征表示进行分类识别。在典型数据集上的比较试验表明了该算法的有效性。     

基于轻量级卷积网络的步态识别研究

针对目前深度学习网络参数量大、成本较高等问题，提出了一种将轻量级卷积网络应用在步态识别中的研究，实现对行人步态的准确识别。该方法对数据集图像进行背景减除和归一化等预处理操作，根据每个人的步态特征提取出相应的步态能量图，使用Mobilenet网络模型进行特征学习并完成分类任务。实验结果表明，Mobilenet网络在减少模型参数量的同时，可以提高模型的识别精度，平均准确率和召回率可以达到90.7%、89.99%，能够有效地实现步态的识别及分类。     

基于融合FPN和Faster R-CNN的行人检测算法

针对多尺度行人检测的问题,本文提出一种基于融合特征金字塔网络（Feature pyramid networks,FPN）和Faster R-CNN(Faster region convolutional neural network)的行人检测算法。首先,对FPN和区域建议网络（Region proposal networks,RPN）进行融合;然后,对FPN和Fast R-CNN进行融合;最后,在Caltech数据集、KITTI数据集和ETC数据集上分别对融合FPN和Faster R-CNN的行人检测算法进行训练和测试。该算法在Caltech数据集、KITTI数据集和ETC数据集上的mAP (mean Average Precision)分别达到69.72%, 69.76%和89.74%。与Faster R-CNN相比,该算法不仅提高了行人检测精度,而且在多尺度行人检测的问题上也获得了较为满意的检测效果。     

特征金字塔融合的多模态行人检测算法

针对单模态行人检测在光照条件较差、目标部分遮挡、目标多尺度时检测效果较差的问题，提出了一种基于可见和红外双模态特征金字塔融合的行人检测算法。使用深度卷积神经网络代替传统的手工设计特征方式分别自动从可见模态及红外热模态的图片中提取单模态特征，根据ResNet（Residual Net）的阶段性特征图谱搭建特征金字塔网络，生成每个模态的特征金字塔，并将两个模态的特征金字塔进行逐层融合。选择深度学习通用目标检测算法--Faster R-CNN作为后续的目标定位与分类算法来解决多模态行人检测问题。在特征金字塔融合阶段，针对级联融合和较大值融合容易忽略弱特征，无法有效融合互补特征的问题，提出了一种锐化特征的特征金字塔融合方法，根据阈值强化突出强特征，互补叠加弱特征，有效利用每个模态的特征，进一步提高模型的检测效果。实验结果表明，特征金字塔聚合的多模态行人检测算法可以有效解决多模态行人检测问题，在KAIST数据集上的检测效果超过了目前该数据集上的最佳模型。     

基于改进残差网络的联合损失步态特征识别

针对现有的步态识别模型识别准确率不够高、提取特征层次较浅等问题,在步态识别网络GaitSet的基础上,提出一种新的基于改进残差网络的联合损失步态特征识别模型Res-GaitSet。步态作为一种独特而有效的远距离识别生物特征,可以在老年医学评估、社会秩序保障等方面被广泛应用。新网络在特征提取模块中引入残差单元,并采用多个损失函数联合使用的方式,此方法可有效提高步态识别模型的准确性和鲁棒性。实验结果表明,改进后的网络Res-GaitSet在CASIA-B数据集的多个场景和不同识别角度下的准确率均有提升。同时,将改进后的网络用于自建步态数据集,对比于原网络,改进后的网络识别效果在不同角度下也均有提升,充分验证了改进模型的有效性。     

多特征区域的细粒度船舶图像目标识别方法

为解决单一特征细粒度船舶图像识别率低的问题,提出一种循环注意卷积神经网络（recurrent attention convolutional neural network,RA-CNN）与多特征区域融合的船舶目标识别方法。该方法通过在VGG-19网络中引入尺度依赖池化（scale-dependent pooling,SDP）算法解决小目标过度池化的问题,提升了小型船舶的识别性能;注意建议网络（attention proposal network,APN）加入联合聚类（joint clustering）算法,生成多个独立的特征区域,使整个模型充分利用全局信息,提高了船舶识别精度;同时设计特征区域优化方法降低多个特征区域的重叠率,解决了过拟合问题;通过定义新的损失函数来交叉训练VGG-19和APN,加快了收敛速度。利用公开的光电船舶数据集对该方法进行测试实验,识别准确率最高可达90.2%,无论是识别率还是模型的鲁棒性较单特征都有了很大的提升。     

基于特征融合的步态识别算法研究

根据人体步态变化特点,提出一种基于特征融合和神经网络的步态识别算法。首先采用时域差分法对运动人体轮廓进行分割,然后分别提取空间特征和频率特征,将两步态特征融合在一起,从而实现步态的分类和识别。在CASIA步态数据库上进行仿真实验,仿真结果表明,该方法不仅克服了单一特征提取方法存在的缺陷,同时提高了步态识别正确率。     

基于加权局部判别CCA的多视角步态识别方法

为了解决步态特征提取难题和克服单一视觉的步态进行身份识别方法的局限性,提出一种加权局部判别典型相关分析（WLDCCA）算法。在此基础上,提出一种基于WLDCCA的多视角步态识别方法。该方法通过在WLDCCA中引入样本的类信息和局部信息,将不同视觉的步态特征有机地融合起来,提取的融合特征能够最小化同类样本之间的距离,同时最大化异类样本之间的距离,提高了步态识别的识别率和鲁棒性。在CASIA步态数据库上的实验结果验证了该算法的有效性和可行性。     

融合随机擦除和残差注意力网络的行人重识别

传统的行人重识别方法依赖人工构造视觉特征,容易受到其他外界因素的影响,识别精度低.深度学习模型能自主地提取特征,但随着网络层数的加深会出现梯度消失情况,残差网络能缓解梯度消失问题,但提取出的特征信息未被合理使用.行人部分图像被遮挡是影响行人重识别准确性的另一个重要因素.针对上述问题提出了融合随机擦除和残差注意力网络的行...     

结合Bi-LSTM-CNN的语音文本双模态情感识别模型

针对单一模态情感识别精度低的问题,提出了基于Bi-LSTM-CNN的语音文本双模态情感识别模型算法.该算法采用带有词嵌入的双向长短时记忆网络(bi-directional long short-term memory network,Bi-LSTM)和卷积神经网络(convolutional neural networ...     

改进的Faster RCNN煤矿井下行人检测算法

针对煤矿井下环境恶劣、光照差、背景混杂、行人模糊、行人多尺度等问题，提出了一种改进的Faster RCNN煤矿井下行人检测方法，使用深度卷积神经网络代替传统的手工设计特征方式自动地从图片中提取特征。利用深度学习通用目标检测框架Faster RCNN，以Faster RCNN算法为基础，对候选区域网络（Region Proposals Network，RPN）结构进行了改进，提出了一种“金字塔RPN”结构，来解决井下行人存在的多尺度问题；同时算法中加入了特征融合技术，将不同卷积层输出的特征图进行融合，增强煤矿井下模糊、遮挡和小目标行人的检测性能。实验结果表明：改进的Faster RCNN可以有效解决井下行人检测问题，在井下行人数据集上获得了90%的检测准确率，并在公测数据集VOC 07上对改进算法进行了验证。     

应用核独立成分分析进行弱周期性步态识别研究

提出一种基于时空能量图和核独立成分分析的步态特征表达和步态识别方法,利用步态序列图像的非线性特征和高维统计信息,并消除识别算法对时间配准和步态周期定位的依赖,时空能量图集成了步行运动信息中时间与空间变化的特点,并极大地减少了特征的数据量。针对10人值班的涉密场所进行步态识别正确率达到93.9%。实验结果表明该算法具有较好的识别性能和相当低的空间需求和计算量。     

基于CNN和DLTL的步态虚拟样本生成方法

针对步态识别在反恐、安防领域亟待解决的小样本问题,提出了一种基于深度卷积神经网络（convolutional and neural network,CNN）和DLTL（dual learning and transfer learning）的步态虚拟样本生成方法。首先用基于VGG19的深度卷积神经网络模型低层响应提取步态风格特征图,然后利用基于对抗网络的对偶学习（dual learning,DL）对风格特征图进行风格训练,得到风格特征模型;其次利用VGG19模型的高层响应提取步态内容特征图,然后让步态内容特征图对风格特征模型中的风格特征进行学习;最后使用迁移学习TL（transfer learning）获得步态虚拟偏移样本。实验结果表明,经过DLTL风格学习生成的步态虚拟样本虽然整体风格发生改变,但人体步态特征没有改变,可有效扩充小样本容量;当虚拟样本增加到一定数量时,步态识别率有所提升。该方法与现有步态虚拟样本生成方法进行对比实验,结果表明该算法优于现有方法,能够大量生成虚拟样本且稳定提高步态识别的识别率。