基于多粒度特征融合网络的行人重识别北大核心CSCD

针对复杂环境下行人细节特征不明显、姿态多变等情况造成的行人重识别(person-reidentification,ReID)算法精度不高的问题,提出了一种基于多粒度特征提取与特征融合的ReID网络。首先,在主干网络输入和输出端采用两种粒度的划分方式获取图像的局部特征。其次,引入空间变换网络(spatial transformation network,STN)对输入全局图像进行空间对齐,对局部图像进行特征增强。最后,采用局部特征融合的方式来挖掘特征之间的关联信息,提升模型对相似样本的识别能力。实验结果表明,所提方法在多个数据集上均取得了良好的识别效果。在Market-1501数据集上的平均查准率(mean average precision,mAP)和首次查准率(Rank-1)分别为84.87%和94.45%,通过和目前主流的ReID算法相比,本文所提方法具有更优的识别效果。     

基于注意力机制与局部关联特征的行人重识别北大核心CSCD

由于行人在真实场景下易受到背景、遮挡、姿态等问题的影响,为获取行人图像中更具辨别能力的特征,提出一种基于注意力机制和局部关联特征的行人重识别方法。首先,在网络框架中嵌入注意力模块以关注图像中表达能力强的特征;然后,利用图像中相邻区域的关联得到局部关联特征,并结合全局特征。本文方法在Market1501和DukeMTMC-ReID数据集上进行实验,Rank-1指标分别达到了95.3%和90.1%。结果证明,本文方法能充分获取判别力强的特征信息,使模型具有较强的识别能力。     

基于多粒度特征融合网络的行人重识别

行人重识别旨在跨监控设备下检索出特定的行人目标.为捕捉行人图像的多粒度特征进而提高识别精度,基于OSNet基准网络提出一种多粒度特征融合网络(Multi-granularity Feature Fusion Network for Person Re-Identi-fication,MFN)进行端对端的学习.MFN由全...     

多粒度跨模态行人重识别算法研究

针对当前跨模态行人重识别算法大多聚类能力不强、且难以提取高效辨别性特征的问题,提出了一种多粒度跨模态行人重识别算法。首先,在骨干网络Resnet50中加入非局部注意力机制模块,关注长距离像素之间的关系,保留细节信息;其次,采用多分支网络提取不同细粒度特征信息,增强模型的辨别性特征提取能力;最后,联合基于样本的三元组损失和基于中心的三元组损失监督训练,加速模型收敛。所提算法在SYSU-MM01数据集的全搜索模式下Rank-1和mean average precision分别达到62.83%和58.10%,在RegDB数据集的可见光到红外模式下Rank-1和mAP分别达到87.78%和76.22%。     

基于CNN和TransFormer多尺度学习行人重识别方法

行人重识别(ReID)旨在跨监控摄像头下检索出特定的行人目标。为聚合行人图像的多粒度特征并进一步解决深层特征映射相关性的问题,该文提出基于CNN和TransFormer多尺度学习行人重识别方法(CTM)进行端对端的学习。CTM网络由全局分支、深度聚合分支和特征金字塔分支组成,其中全局分支提取行人图像全局特征,提取具有不同尺度的层次特征;深度聚合分支循环聚合CNN的层次特征,提取多尺度特征;特征金字塔分支是一个双向的金字塔结构,在注意力模块和正交正则化操作下,能够显著提高网络的性能。大量实验结果表明了该文方法的有效性,在Market1501, DukeMTMC-reID和MSMT17数据集上,mAP/Rank-1分别达到了90.2%/96.0%, 82.3%/91.6%和63.2%/83.7%,优于其他现有方法。     

基于多层级特征融合的行人重识别算法

针对行人遮挡、姿态变化等现象造成当前行人重 识别算法精度不高的问题,提出一 种基于多层级特征融合的行人重识别算法。首先通过自注意力机制骨干网络ResNeSt提取图 像特征中的短距离信息;其次通过多尺度 金字塔卷积(pyramid convolution,Pyconv) 分支网络提取图像中长像素关 联特征信息,提高模型表达能力;最后使用一种统一形式且可学习的广义均值池化 (generalized mean pooling,GEM) 替代传统平均池化层,达到关注不同区域特征差异性目的。测试阶段添加平均逆消极惩罚 (mINP)作为新评价指标。实验结果表明,本文所提算法在多个数据集上均展现出优势,在 DukeMTMC-ReID数据集上Rank-1达到了90.9%,mAP达到了89.8%。     

一种多分支网络的行人重识别方法研究

行人重识别(ReID)是视频监控中的一项重要任务,由于复杂的背景杂波,变化的照明条件以及无法控制的相机设置,使其成为一项具有挑战性的任务.提出一种结合全局特征和局部特征的深度学习网络作为解决方案.该深度学习网络具有各种粒度的区分性信息,是一种多分支深度网络体系结构.其中一个分支用于全局特征表示,负责整张图片的全局信息提...     

融合子空间共享特征的多尺度跨模态行人重识别方法

跨模态行人重识别(Re-ID)是智能监控系统所面临的一项具有很大挑战的问题,现有的跨模态研究方法中主要基于全局或局部学习表示有区别的模态共享特征。然而,很少有研究尝试融合全局与局部的特征表示。该文提出一种新的多粒度共享特征融合(MSFF)网络,该网络结合了全局和局部特征来学习两种模态的不同粒度表示,从骨干网络中提取多尺度、多层次的特征,全局特征表示的粗粒度信息与局部特征表示的细粒度信息相互协同,形成更具有区别度的特征描述符。此外,为使网络能够提取更有效的共享特征,该文还针对网络中的两种模态的嵌入模式提出了子空间共享特征模块的改进方法,改变传统模态特征权重的特征嵌入方式。将该模块提前放入骨干网络中,使两种模态的各自特征映射到同一子空间中,经过骨干网络产生更丰富的共享权值。在两个公共数据集实验结果证明了所提方法的有效性,SYSU-MM01数据集最困难全搜索单镜头模式下平均精度mAP达到了60.62%。     

基于全局特征和多种局部特征的行人重识别

能否提取具有区别度的行人特征是行人重识别问题的关键所在.该文在ResNet-50的基础上,提出一种使用多种方法提取特征的多分支网络结构(MMNet).该网络将多种方法以一种巧妙的方式组合起来,从而解决行人姿态变化、部分遮挡等引起的行人判别特征信息缺失问题.在第一个分支中提取行人的全局特征,在第二个分支中使用通道注意力模...     

基于多样化局部注意力网络的行人重识别

针对现实场景中行人图像被遮挡以及行人姿态或视角变化造成的未对齐问题,该文提出一种基于多样化局部注意力网络(DLAN)的行人重识别(Re-ID)方法。首先,在骨干网络后分别设计了全局网络和多分支局部注意力网络,一方面学习全局的人体空间结构特征,另一方面自适应地获取人体不同部位的显著性局部特征;然后,构造了一致性激活惩罚函数引导各局部分支学习不同身体区域的互补特征,从而获取行人的多样化特征表示;最后,将全局特征与局部特征集成到分类识别网络中,通过联合学习形成更全面的行人描述。在Market1501, DukeMTMC-reID和CUHK03行人重识别数据集上,DLAN模型的mAP值分别达到了88.4%, 79.5%和74.3%,Rank-1值分别达到了95.1%, 88.7%和76.3%,明显优于大多数现有方法,实验结果充分验证了所提方法的鲁棒性和判别能力。     

基于双重增强网络的跨模态行人重识别

针对异质样本差异、行人遮挡及背景干扰等造成的跨模态行人重识别(person re-identification,ReID)精度不高的问题,本文提出了一种基于通道与特征学习的双重增强网络(dual enhanced network,DEN)。首先从通道级出发,通过随机交换可见光通道来挖掘可见光与红外通道间的关系,增强模型对多模态样本变化的鲁棒性。其次从特征级出发,在模态共享网络前引入基于归一化的注意力模块(normalization-based attention module,NAM),通过惩罚贡献因子较小的权重来避免噪声对模态不变信息学习造成一定干扰。同时采用特征分离模块(feature separation module,FSM)来分离出身份相关特征与身份无关特征,有效提升了模型对异质样本的识别能力。最后联合难样本三元组和加权正则化损失对网络进行监督训练,从而约束行人特征学习。在RegDB数据集上,DEN的Rank1准确率和mAP分别达到了94.86%和90.10%的高水准。     

基于典型相关分析特征融合的行人再识别方法

传统的行人再识别方法通常使用手工设计的视觉 特征来描述行人图像。然而,仅用单 个类型的视觉特征很难全面表征行人图像信息,导致识别性能达不到满意效果。提出一种利 用典型相关分析对不同类型特征融合的行人再识别方法。该方法首先分别对两种不同类型的 行人视觉特征进行典型相关分析,以获得两组不同特征之间的最大相关子空间。然后,分别 使用连接融合和相加融合两种策略对两种变换后的特征进行融合,使用融合后的特征用于行 人再识别。实验结果表明,相比单个类型的行人图像特征和简单的多特征连接方法,提出的 特征融合方法在保持特征维度较低的同时,能获得更好的识别率。     

联合特征细化和耐噪声对比学习的无监督行人重识别

针对无监督行人重识别(person re-identification, ReID)中行人特征表达不充分以及聚类过程产生噪声标签的问题,提出一种联合特征细化和耐噪声对比学习的无监督ReID方法。首先,为丰富无标记的行人表征,设计了非局部通道细化模块(non-local channel refinement module, NCRM)对关键特征信息进行加权强化,其融合了非局部通道的重要特征来捕获无标记数据的类间区别表征,形成更具有鉴别度的特征描述符。其次,考虑到特征的充分表达,采用广义均值(generalized mean, GEM)池化自适应调整参数来增强不同细粒度区域信息的提取能力。再次,为了减轻噪声标签对网络的负面影响,设计了耐噪声的动态对比均衡(dynamic contrastive equilibrium, DCE)损失函数进行无监督联合学习。最终,在两个公共数据集上的实验结果验证了所提方法的有效性和先进性,mAP分别达到了83.1%和71.9%,优于其他先进方法。     

基于关系融合和特征分解的车辆重识别算法

在车辆重识别(re-identification,Re-ID) 任务中,通过对全局及局部信息的联合提取已成为目前主流的方法,是许多重识别模型在提取局部信息时只关注了丰富程度而忽略了完整性。针对该问题,提出了一种基于关系融合和特征分解的算法。该算法从空间与通道维度出发,设计对骨干网络所提取的特征沿垂直、水平、通道3维度分割,首先,为了更好地凸显车辆的前景区域,提出一种混合注意力模块(mixed attention module,MAM) ,之后,为了在空间维度上挖掘丰富特征信息的同时使得网络关注更完整的感兴趣区域,设计对垂直及水平方向的分割后的特征实现基于图的关系融合。为了赋予网络捕捉更具判别性信息的能力,在通道方向上对分割后的局部特征实现特征分解。最后,在全局分支特征与局部分支下所提取的鲁棒性特征的共同作用下实现车辆重识别。实验结果表明,本文算法在两个主流车辆重识别数据集上取得了更先进的性能。     

损坏图像下基于风格归一化与全局注意力的行人重识别

针对当前网络难以应对各种损坏类型的行人图像与易丢失跨维信息的问题,提出了一种损坏图像下基于风格归一化与全局注意力的行人重识别(pedestrain re-identification, ReID)方法。该方法通过平滑极大单元的风格归一化与恢复(smooth maximum unit-style normalization and restitution, SM-SNR)模块中的实例规范化(instance normalization,IN)过滤掉域中的风格变化,同时平滑极大单元(smooth maximum unit, SMU)能使该模块更充分地从删除的信息中提取行人相关特征并将其恢复至网络中,缓解损坏图像带来的风格差异。此外,全局注意力机制(global attention mechanism, GAM)通过关注通道与空间之间的相互作用,以捕获3个维度上的显著行人特征,减少跨维信息的丢失,最终使本模型在面对行人损坏图像时的识别能力得到有效提高,且保留了在干净数据集上的竞争力。实验结果表明,本算法在损坏测试集上的各项指标与目前主流算法对比具有显著的优越性。其中,本模型与2021年的CI...