融合全局与局部特征的深度卷积神经网络算法

为进一步提高人脸表情识别的准确率,提出一种融合全局与局部特征的深度卷积神经网络算法(GL-DCNN).该算法由两个改进的卷积神经网络分支组成,全局分支和局部分支,分别用于提取全局特征和局部特征,对两个分支的特征进行加权融合,使用融合后的特征进行分类.首先,提取全局特征,全局分支基于迁移学习,使用改进的VGG19网络模型...     

多层级重叠条纹特征融合的行人重识别

针对行人重识别(Person-ReID)过程中,基于局部特征的方法在提取行人特征时因信息缺失导致鲁棒性和判别力不足的问题,提出一种多层级重叠条纹特征融合的行人重识别算法.训练阶段,对骨架网络不同阶段的输出特征图进行水平均等分割,再提取重叠条纹特征以弥补丢失的信息;使用三种损失函数对不同的特征向量进行监督训练,以约束类内距离.此外,设计组归一化模块来消除不同损失函数在优化方向上存在的差异,从而提取到更恰当的共享特征.推理阶段,将多个特征向量融合成一个新的特征向量,再进行相似性判断.将该方法在Market-1501、DukeMTMC-reID数据集上进行有效性实验验证并对结果进行分析.所提算法能够提高行人重识别的准确率,模型所提取的特征具有较强的鲁棒性和判别力.     

基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。     

多分支融合局部特征的行人重识别算法

大部分结合深度学习的行人重识别算法主要以单分支的网络结构为主,且大多利用图片的全局特征信息,这样易错失关键行人信息,导致度量学习效果、算法精度下降。因此,为使网络获取到更多的关键行人信息,减少对行人局部、细节信息的错失,加强网络对行人特征的学习。基于ResNet-50的骨干网络,采取多分支的网络结构设计,综合考虑训练难易、运算量,选择融合三个独立分支的结构设计：随机擦除分支、全局学习分支、局部学习分支,并在此基础上根据实验数据进行调整优化,最后再结合最小二乘法分配损失函数权重使模型更具鲁棒性,实验结果表明,三个分支具有互补性,使用融合分支特征做算法测试时,相比基础的单分支、多分支网络,该算法使得行人重识别精度提升。     

基于多分支协作的行人重识别网络

设计多分支网络以提取分集特征已成为行人重识别领域的重要方向之一.由于单分支学习到的特征表达能力有限,所以文中提出基于多分支协作的行人重识别网络.在局部分支、全局分支、全局对比池化分支、关联分支这4个相互协作的分支上进行特征提取,获得强大的分集行人特征表达能力.文中网络可应用于不同的主干网络.实验中考虑OSNet、ResNet作为文中网络的主干网络进行验证.实验表明,文中网络在行人重识别数据集上均取得Start-of-the-art结果.     

基于特征融合的遮挡行人重识别方法

行人重识别是一项解决跨场景跨摄像头下的行人识别问题的技术。当障碍物遮挡行人的某些部位时，人物结构的完整性会被破坏，影响识别效果或难于识别。针对行人重识别的遮挡问题，提出了一种新的遮挡行人重识别方法，引入关系感知全局注意力机制，融合全局特征和局部特征来进行行人重识别。识别方法的主要组成部分包括局部分支、全局分支和特征融合分支等。局部分支通过遍历局部特征来增强鲁棒性；全局分支通过利用关系感知全局注意力来挖掘行人显著性的信息；特征融合分支通过自适应地生成特征权重，利用加权求和的方式来融合全局特征和局部特征。实验验证了所提方法的有效性，并且有效提升了行人重识别的效果。     

基于特征金字塔分支和非局部关注的行人重识别

关注全局轮廓和行人局部细节对现有行人重识别方法非常重要。为了能够提取这些更具代表性的特征,提出一种基于特征金字塔分支和非局部关注模块的行人重识别网络方法来提取行人全局和局部表征特征。该方法首先引入一种轻量级别的特征金字塔分支结构,从不同的网络层中提取特征,并且聚合成一个双向金字塔结构。其次为进一步提高行人重识别的精度,使用非局部关注模块提取全局特征,这样既能获取行人的全局信息,又能注重行人的局部细节,使两者最终融合的特征更具代表性。最后将不同层间的特征融合起来,并使用联合损失函数策略对网络模型进行训练,显著提高骨干网络的性能。通过在MSMT17、Market1501、DukeMTMC-ReID和PersonX四个公共行人重识别数据集上的大量实验,证明所提出的基于特征金字塔分支和非局部关注的方法相较于目前一些先进的行人重识别方法,具有一定的竞争力。     

多形状局部区域神经网络结构的行人再识别

目的 目前,行人再识别领域将行人图像的全局和局部特征相结合的方法已经成为基本的解决方法。现有的基于局部特征的方法更多的是侧重于定位具有特定的语义区域,这样增加了学习难度,并且对于差异较大的图像场景不具有鲁棒性。为了解决上述问题,通过对网络结构进行改进提出一种多形状局部区域网络（MSPN）结构,它具有多分支并将横向和纵向条状的特征作为局部特征,能够端到端进行训练。方法 网络的多个分支设计可以同时获得多粒度和多形状的局部特征,其中一个分支表示全局特征的学习,两个分支表示横条状不同粒度的局部特征学习,最后一个分支表示竖条状局部特征学习。网络不再学习定位具有特定语义的区域,而是将图像提取的特征切分成横向和竖向的若干条作为局部特征。不同分支条的形状和数量不一致,最后获得不同粒度或不同形状的局部特征信息。因为切分方向的不同,多粒度多形状的局部特征缓解了行人在不同图像中无法对齐的问题。结果 在包括Market-1501、DukeMTMC-ReID和CUHK03在内的主流评估数据集上的综合实验表明,多形状局部区域神经网络和现有的主要方法相比具有更好的表现。其中在数据集Market-1501上达到84.57%的平均准确率（mAP）和94.51%的rank-1准确率。结论 多形状局部区域网络能够学习得到判别能力更强的深度学习模型,从而有效地提升行人再识别的准确率。     

基于变换匹配层融合的双模态生物特征识别方法

自新冠疫情发生以来，戴口罩预防疾病可能会成为大众的常态化行为。若大部分面部特征被遮挡会影响人脸识别方法的精度，同时距离也会对面部识别造成一定影响。然而，步态作为一种可远距离并且难以伪装的生物特征，容易受身体遮挡、角度等外部条件变化的影响。提出一种基于变换匹配层的识别方法，以融合步态和面部特征。通过步态特征提取网络提取人体轮廓图中具有区分度的时空生物特征，以解决单模态人脸识别技术难以在远距离条件下对带口罩目标进行识别的问题，采用面部特征提取网络提取脸部的细粒度特征，以增强网络对于目标主体轮廓被遮挡的鲁棒性。在匹配层将面部特征与步态特征进行归一化后再将信息融合，以达到特征互补的效果。此外，构建相关联的全局-局部时空特征提取模块。通过局部特征提取模块提取细粒度的步态特征，并采用基于互补掩码的多尺度随机带状分割策略增强各个局部特征之间的关联关系。全局特征提取模块提取全局步态信息，与局部细粒度信息形成互补，从而提高步态特征提取网络对于遮挡、视角变化的鲁棒性。实验结果表明，该方法的识别准确率达到99.16%，相较于步态、面部特征提取网络分别提高6.56和0.45个百分点，并且在远距离且戴口罩的真实...     

基于局部和全局特征的人脸识别方法

提出了一种将局部特征识别与全局特征识别相结合的人脸识别方法.该算法首先提取人脸的局部特征进行识别,然后提取未识别图像的全局特征进行识别.基于ORL人脸数据库的实验证明了该算法的识别性能要优于单一特征识别方法.