基于注意力机制和姿态识别的行人再识别

在解决行人再识别技术中的姿态变化、遮挡、背景等问题时,为了提高遮挡下的行人再识别性能,提出一种基于注意力机制和姿态识别的行人再识别方法。采用全局注意网络和姿态识别网络分别提取行人图像的全局特征、关节点位置热力图和对应的置信度,通过计算得到行人13个关节点和融合所有关节点的局部特征,对全局特征和14个局部特征分别进行行人分类训练,利用多任务学习多个损失共同监督网络的优化。测试时,将关键点特征和全局特征融合后,计算行人的距离排序。在Market1501和DukeMTMC-reID数据集上测试的Rank-1/mAP指标分别达到了85.1%/75.6%和64.3%/55.3%。结果表明,所设计方法具备抗姿态变化、遮挡和背景的能力,同时具有较高的识别能力和识别精度。     

基于深度残差网络的轻量级指静脉识别算法

提出一种基于深度残差网络的轻量级指静脉识别算法。首先,以ResNet34为基础,使用深度可分离卷积代替传统卷积,加入SE(Squeeze and Excitation)注意力机制模块来提取手指静脉空间域上的细节特征,并引入宽度缩放因子,进一步压缩网络;其次,在训练中引入教师-学生网络模式,对轻量级深度残差网络进行知识蒸馏训练,并使用知识蒸馏损失、CurricularFace和交叉熵损失对网络进行联合监督,解决了轻量级深度残差网络因学习参数量较少引起的性能下降问题。分别在FV-USM数据集、Lab-Normal数据集和Lab-Special数据集上进行仿真实验,结果表明,同基于轻量级网络MobileFaceNet的识别算法相比,提出的算法有效提高了零误识识别率和Top1排序性能。     

基于多语义融合与ArcFace损失的指静脉识别算法

指静脉识别深度学习方法往往忽视指静脉低级特征,未能充分利用指静脉轮廓、纹理等特征。为此,提出一种基于多语义特征融合网络与ArcFace损失的指静脉识别算法。首先,充分利用神经网络低层提取的指静脉轮廓角点等细节特征和纹理形状等结构信息,提出跨层拼接的特征融合机制,解决仅利用指静脉高级特征识别而忽视静脉低级特征的问题;其次,残差单元采用双层卷积结构,增加了相邻残差单元特征图的距离,消除了指静脉各级语义特征重叠现象,并采用阶跃式残差单元分布来提升网络高低层残差单元数量的差异,进一步加大了指静脉各级特征的距离;最后,在损失函数中加入ArcFace损失项,在角度域聚敛类内距离,分离类间距离,减小指静脉特征向量的类内距离。在公开数据集FV-USM、实验室采集的正常图像库及特殊图像库上进行性能分析实验,结果表明,和指静脉识别经典网络相比,提出算法的零误识拒识率分别降低了8.89%,6.89%和14.68%,Top1排序性能分别提升了2.85%,5.10%和9.07%。     

基于双通路跃层卷积网络的交通标志识别算法

交通标志识别(Traffic Sign Recognition,TSR)是智能交通系统的重要研究方向之一。因道路交通的环境复杂、交通标志数据库规模大小等因素制约,在设计TSR系统可行性方案时必须考虑算法的复杂度、识别率和鲁棒性。针对这一问题,本文提出了一种不同尺度的双通路跃层卷积神经网络算法,在同一通路上交通标志的底层局部特征和高层全局的特征,与不同通路上经过局部响应归一化和池化后的特征在全连接层融合,从而丰富了交通标志分类的特征,最后将特征图输入分类器进行交通标志识别。采用德国交通标志识别标准数据集(German Traffic Sign Recognition Benchmark,GTSRB)进行训练和测试,本文算法的识别率达到97.96%,明显优于单一通路的跃层卷积网络算法和人工方法。     

智能环境下基于核相关权重鉴别分析算法的多特征融合人脸识别

针对智能会议环境下基于单模特征的人脸识别的识别率低、鲁棒性差的问题,提出了一种在智能会议室环境下基于核相关权重鉴别分析(KRWDA)算法的融合全局和局部特征的多特征融合人脸识别方法。基于相关权重鉴别分析算法并结合核方法,提出了一种核相关权重鉴别分析算法,有效解决了小样本问题。利用全局特征和局部特征在识别时所描述的内容和作用的互补性在特征层融合两种特征,全局信息和局部信息分别采用离散余弦变换和Ga-bor小波变换提取。在AMIES2016数据库上的仿真实验表明,本文所提出的方法可以有效地提高系统身份识别的正确率。     

基于扩展卷积神经网络与度量学习的指静脉识别

针对在传统卷积神经网络(Convolutional neural networks, ConvNet)算法中由于提取的静脉特征信息不足而导致指静脉识别准确率不高的问题,提出了一种基于扩展卷积神经网络与度量学习的指静脉识别算法。该算法通过扩展卷积神经网络的宽度与深度来提高ConvNet的学习能力,并使用难样本采样三元组(Triplet hard loss with batch hard mining, TriHard)度量学习函数作为网络损失函数训练网络。此外,针对常用距离度量方法不能有效度量静脉特征之间的相似度的问题,在指静脉识别阶段采用了Wasserstein距离度量方法,以提高同源静脉间的相似度,降低异源静脉间的相似度。仿真实验结果表明:在FV-USM数据集上,指静脉识别准确率达98.33%,较使用ConvNet和常用距离度量方法准确率提高了3.56%;在MMCBNU_6000数据集上,指静脉识别准确率达98.02%,较使用ConvNet和常用距离度量方法准确率提高了2.01%。     

基于散射卷积网络的手指静脉识别方法研究

针对手指静脉特征提取及匹配识别问题,设计了一套嵌入式小型化手指静脉采集装置,并提 出了一种基于散射卷积网络算法的手指静脉识别方法． 对采集到的原始手指静脉图像进行感兴趣 区域提取和预处理,利用多层散射卷积网络提取每张图像的散射能量分布特征,计算每个子块图像 能量均值和方差作为特征向量,利用支持向量机进行样本训练和匹配识别． 实验结果表明: 该方法 用于手指静脉识别相比于目前的其他方法能有更好的效果,识别率达到100%．     

融合CDI和LBP的人脸特征提取与识别算法

针对光照、姿态和表情对人脸识别率造成严重影响的问题,提出了结合笛卡儿微分不变量(CDI,cartesian differential invariant)和LBP(local binary patterns)的人脸特征抽取与识别算法。首先,利用高斯微分算子抽取人脸图像的微分结构,组合这些微分结构得到一个不可约简的笛卡儿CDI集。其次,对CDI集中每个分量分别计算其LBP特征,并将所有分量的LBP特征连接起来以得到人脸图像的特征。最后,运用所抽取出的人脸局部描述特征和支持向量机(SVM)分类器完成人脸图像分类与识别。试验分析表明,基于CDI的LBP特征对人脸位置、姿态、光照和表情的变化具有较高的不变性。该算法在ORL和Yale人脸库中分别取得了98.5%和98.89%的识别率。     

基于深度残差网络与离散哈希的指静脉识别方法

针对传统卷积神经网络提取的特征不够充分、自学习特征稀疏导致指静脉识别精度和识别速度不高的问题,提出了一种基于深度残差网络和离散哈希的二元特征指静脉识别方法。首先,在深度残差网络模型训练过程中提出将加性角边缘损失函数作为监督信号,扩大类间差,缩小类内差;其次,将归一化后的指静脉图像输入改进的深度残差模型进行特征提取;然后,提出采用监督式离散哈希模型对实值特征进行离散化,获得二值化特征替代原有的实值特征;最后,采用哈明距离计算二值化特征与指静脉库中的模板间的匹配分数确定识别结果。实验结果表明:在MMCBNU_6000数据集上,指静脉识别准确率达96.59%,同时模板尺寸缩减为1024 bit,是常用的实值特征模板尺寸的1/16;在FV-USM数据集上,模板尺寸缩减为1024 bit时,指静脉识别准确率达到95.37%。     

基于时空局部特征融合的人体行为识别

为了实现对公共区域等特定场所下的人体正常行走、跑动、挥拳、双手挥舞等人体行为的识别,提出了一种基于时空局部特征融合的人体行为识别方法.首先,对各种目标行为建立样本库,将不同类别的目标行为样本作为先验知识,以此训练支持向量机;然后通过高斯混合模型来检测运动前景,接着提取运动目标的区域特征和运动特征,通过K-L离散变换对两者进行特征融合;最后结合支持向量机具有全局最优性和较好泛化能力的特点,进行小样本的多目标行为分类识别,并和BP神经网络的识别效果进行比较.实验结果表明,SVM的识别率优于BP神经网络,其平均识别率可达96%.     

基于卷积神经网络和Transformer的视频行人再识别

为了解决视频行人再识别领域仅使用卷积神经网络进行行人特征提取效果不佳的问题,提出一种基于卷积神经网络和Transformer的ResTNet(ResNet and Transformer network)网络模型。ResTNet利用ResNet50网络得到局部特征,令中间层输出作为Transformer的先验知识输入。在Transformer分支中不断缩小特征图尺寸,扩大感受野,充分挖掘局部特征之间的关系,生成行人的全局特征,同时利用移位窗口方法减少模型计算量。在大规模MARS数据集上,Rank-1和mAP分别达到86.8%和80.3%,比基准分别增加了3.8%和3.3%,在2个小规模数据集上也取得了良好效果。在几大数据集上的大量实验表明,本文方法能增强行人识别的鲁棒性,有效提高行人再识别的准确率。     

基于自适应增殖数据增强与全局特征融合的小目标行人检测

针对当前规模的小目标行人数据集较少，传统行人检测模型对小目标检测效果较差的问题，提出一种基于消隐点性质，提出自适应增殖数据增强和全局上下文特征融合的小目标行人检测方法.利用射影几何与消隐点的性质，对图像中的多个目标进行复制；通过仿射变换投影到新的位置，生成多个大小与背景合理的小目标样本以完成数据增强.利用跨阶段局部网络与轻量化操作改进沙漏结构，融合坐标注意力机制强化骨干网络.设计全局特征融合颈部网络（GFF-neck），以融合全局特征.实验表明，在经过数据增强后的WiderPerson数据集上，改进算法对行人类别的检测AP值达到了79.6%，在VOC数据集上mAP值达到了80.2%.测试结果表明，当搭建实验测试系统进行实景测试时，所提算法有效提升了小目标行人检测识别精度，并满足实时性要求.     

基于整体和个体分割融合的双人交互行为识别

在人类交互行为识别领域,基于RGB视频的局部特征往往不能有效区分近似动作,将深度图像（Depth）与彩色图像（RGB）在识别过程中进行融合,提出一种融合Depth信息的整体和个体分割融合的双人交互行为识别算法。该算法首先分别对RGB和Depth视频进行兴趣点提取,在RGB视频上采用3DSIFT进行特征描述,在Depth视频上利用YOLO网络对左右两人兴趣点进行划分,并使用视觉共生矩阵对局部关联信息进行描述。最后使用最近邻分类器分别对RGB特征和Depth特征进行分类识别,进一步通过决策级融合两者识别结果,提高识别准确率。结果表明,结合深度视觉共生矩阵可以大大提高双人交互行为识别准确率,对于SBU Kinect interaction数据库中的动作可以达90%的正确识别率,验证了所提算法的有效性。     

奇异值分解与中心度量的细粒度车型识别算法

针对细粒度车型识别图像分类因存在冗余特征而导致识别率低的问题,提出一种基于奇异值分解与中心度量的细粒度车型识别算法。首先,提出一种基于奇异值分解卷积神经网络,对全连接层的权重矩阵进行奇异值分解后重新赋值并微调,可以去除具有相关性的冗余特征,学习到细粒度级别的区分性特征;其次,提出一种学习不同特征的融合损失方法,将中心距离损失和分类损失进行加权融合,使得学习的特征类内之间的距离更小。实验表明,该方法使用 Residual Network(ResNet)框架在Cars-196细粒度车型数据集上测试,准确率能够达到93.02%,优于目前表现较好的双线性和注意力模型。扩展实验证明该方法同样适用于其他网络框架。     

整体特征通道识别的自适应孪生网络跟踪算法

针对孪生网络目标跟踪算法仅使用特征提取网络提取特征,在遮挡、旋转、光照与尺度变化中容易出现跟踪失败的问题,提出整体特征通道识别的自适应孪生网络跟踪算法. 将高效的通道注意力模块引入ResNet22孪生网络中,提高特征的判别能力. 使用整体特征识别功能计算全局信息,提取更为丰富的语义信息,提高跟踪算法精度. 同时,引入自适应模板更新机制,解决遮挡与长期跟踪导致的模板退化问题. 为了验证所提方法的有效性,在OTB2015、VOT2016与VOT2018等公开数据集上进行测试,并与其他跟踪算法进行对比. 结果表明,所提算法在精确度与成功率上表现较好,在背景杂乱、旋转、光照与尺度变化等情况中表现稳定.     

融合多分支与多粒度特征的东北虎重识别

为解决东北虎重识别研究中存在的细节特征提取不充分等问题,提出了一种融合多分支与多粒度特征的东北虎重识别模型CMM-Net。其中,全局分支负责提取宏观上的粗粒度特征;注意力分支通过插入坐标注意力模块加深了网络对重要特征的关注度;局部分支通过将特征图切分成不同条带块,从而提取东北虎更细粒度的局部特征。通过多个分支结构和多个细粒度特征结合来对模型进行优化学习,加强全局特征与局部特征的关联性。同时提出用Circle Loss与Softmax的联合损失来提高网络精度。实验结果表明,在ATRW数据集上所提模型在单摄像头环境下mAP为93.6%,跨摄像头环境下mAP为77.4%,均优于多数文献所提方法,证明了本文模型的有效性。     

基于特征优化与深层次融合的目标检测算法

针对单阶段多边框检测算法(SSD)存在对小目标检测误差较大的问题,提出基于特征优化与深层次融合的目标检测算法,通过空间通道特征增强(SCFE)模块和深层次特征金字塔网络(DFPN)改进SSD. SCFE模块基于局部空间特征增强和全局通道特征增强机制优化特征层,注重特征层的细节信息;DFPN基于残差空间通道增强模块改进特征金字塔网络,使不同尺度特征层进行深层次特征融合,提升目标检测精度.在训练阶段添加样本加权训练策略,使网络注重训练定位良好的样本和置信度高的样本.实验结果表明,在PASCAL VOC数据集上,所提算法在保证速度的同时检测精度由SSD的77.2%提升至79.7%;在COCO数据集上,所提算法的检测精度由SSD的25.6%提升至30.1%,对小目标的检测精度由SSD的6.8%提升至13.3%.     

基于时空特征融合的动态手势识别

针对动态手势时间可变性和手势复杂空间关系等问题,提出融合时空特征的动态手势识别方法．基于动态手势视频的关键帧和手势关节点信息,计算得到角度特征、距离特征和轨迹特征．融合3类特征并利用SVM(Support Vector Machine)实现动态手势识别．实验表明,该方法更加完整地表述动态手势时空信息,运行时间更短,在UTD-MHAD数据集上识别率为96.47%,在中国交通警察指挥手势数据集上识别率为98.66%,识别效果较理想.     

融合特征增强及多尺度损失的增量去雾算法

为提高雾霾图像清晰化效果并实现去雾能力的泛化,提出一种特征增强及多尺度损失约束的网络结构,并采用增量式训练方法对网络进行训练。网络由教师网络和学生网络构成。通过学习教师网络提取的标注样本注意力信息对学生网络提取的特征进行特征增强;将标注样本多尺度语义特征作为软标签,建立多尺度语义特征损失衡量机制,与全局像素差异损失级联,构建面向特征和像素的损失函数;采用增量式训练方法,教师网络为学生网络平衡不同数据集的新旧知识提供先验约束,使网络保留原有知识的前提下,快速提高对增补数据集的泛化能力。实验结果表明,所提算法在主观视觉效果与客观评价指标上均取得了较好的效果。     

一种改进的局部嵌入网络人脸图像分类方法

为提高局部线性嵌入网络在人脸表情识别上的精度以及人脸分类的准确性,提出了一种改进的局部线性嵌入网络人脸图像分类方法。该方法在局部线性嵌入算法的基础上,利用类内-类间判别矩阵作为网络的输入,同时利用重构人脸图像集对局部线性嵌入算法进行改进,并将改进的基于聚类的局部线性嵌入算法嵌入到卷积核的构造过程中,从而增加了不同类别人脸的区分度。通过在Extended Yale B数据集和Olivetti Research Laboratory数据集上进行对比实验,分析了在处理人脸表情和人脸识别任务中不同方法的效果。结果表明,所提出的改进局部线性嵌入网络人脸图像分类方法比文献中其他方法在识别率上提高了11%～26%。