基于多粒度特征融合网络的行人重识别

行人重识别旨在跨监控设备下检索出特定的行人目标.为捕捉行人图像的多粒度特征进而提高识别精度,基于OSNet基准网络提出一种多粒度特征融合网络(Multi-granularity Feature Fusion Network for Person Re-Identi-fication,MFN)进行端对端的学习.MFN由全局分支、特征擦除分支和局部分支组成,其中特征擦除分支由双通道注意力擦除模型构成,此模型包含通道注意力擦除模块(Channel Attention-based Dropout Moudle,CDM)和空间注意力擦除模块(Spatial Attention-based Dropout Moudle,SDM).CDM对通道的注意力强度排序并擦除低注意力通道,SDM在空间维度上以一定概率擦除最具有判别力的特征,两者通过并联方式相互作用,提高模型的识别能力.全局分支采用特征金字塔结构提取多尺度特征,局部分支将特征均匀切块后级联成一个单一特征,提取关键局部信息.大量实验结果表明了本文方法的有效性,在Market1501、DukeMTMC-reID和CUHK03-Labeled(Detected)数据集上,mAP/Rank-1分别达到了90.1％/95.8％、81.8％/91.4％和80.7％/82.3％(78.7％/81.6％),大幅优于其他现有方法.     

基于阶梯型特征空间分割与局部注意力机制的行人重识别

为了让网络捕捉到更有效的内容来进行行人的判别,该文提出一种基于阶梯型特征空间分割与局部分支注意力网络(SLANet)机制的多分支网络来关注局部图像的显著信息。首先,在网络中引入阶梯型分支注意力模块,该模块以阶梯型对特征图进行水平分块,并且使用了分支注意力给每个分支分配不同的权重。其次,在网络中引入多尺度自适应注意力模块,该模块对局部特征进行处理,自适应调整感受野尺寸来适应不同尺度图像,同时融合了通道注意力和空间注意力筛选出图像重要特征。在网络的设计上,使用多粒度网络将全局特征和局部特征进行结合。最后,该方法在3个被广泛使用的行人重识别数据集Market-1501,DukeMTMC-reID和CUHK03上进行验证。其中在Market-1501数据集上的mAP和Rank-1分别达到了88.1%和95.6%。实验结果表明,该文所提出的网络模型能够提高行人重识别准确率。     

基于多层级特征融合的行人重识别算法

针对行人遮挡、姿态变化等现象造成当前行人重 识别算法精度不高的问题,提出一 种基于多层级特征融合的行人重识别算法。首先通过自注意力机制骨干网络ResNeSt提取图 像特征中的短距离信息;其次通过多尺度 金字塔卷积(pyramid convolution,Pyconv) 分支网络提取图像中长像素关 联特征信息,提高模型表达能力;最后使用一种统一形式且可学习的广义均值池化 (generalized mean pooling,GEM) 替代传统平均池化层,达到关注不同区域特征差异性目的。测试阶段添加平均逆消极惩罚 (mINP)作为新评价指标。实验结果表明,本文所提算法在多个数据集上均展现出优势,在 DukeMTMC-ReID数据集上Rank-1达到了90.9%,mAP达到了89.8%。     

基于全局特征和多种局部特征的行人重识别

能否提取具有区别度的行人特征是行人重识别问题的关键所在.该文在ResNet-50的基础上,提出一种使用多种方法提取特征的多分支网络结构(MMNet).该网络将多种方法以一种巧妙的方式组合起来,从而解决行人姿态变化、部分遮挡等引起的行人判别特征信息缺失问题.在第一个分支中提取行人的全局特征,在第二个分支中使用通道注意力模...     

基于通道注意力机制和多尺度卷积的行人重识别

针对真实环境中由于复杂背景和物体遮挡、角度变换、行人姿态变化带来的行人重识别(person re-identification,person re-ID) 问题,设计了基于通道注意力(efficient channel attention,ECA) 机制和多尺度卷积(poly-scale convolution,PSConv) 的行人重识别模型。首先利用残差网络提取全局特征,在网络末端加入基于ECA机制及PSConv的特征融合模块,将全局特征和该模块提取的全局特征进行融合,之后将新的全局特征进行分割得到局部特征,最后将新的全局特征和分割得到的局部特征融合得到最终特征,并计算损失函数。模型在Market1501和DukeMTMC-reID 数据集上进行实验验证。在Market1501数据集中,Rank-1和平均精度均值分别达到94.3%和85.2%,在DukeMTMC-reID数据集中,上述两参数分别达到86.3%和75.4%。实验结果可知,该模型可应对实际环境中的复杂情况,增强行人特征的辨别力,有效提高行人重识别的准确率和精度。     

双注意力随机选择全局上下文细粒度识别网络

针对细粒度图像识别任务中易忽视微小潜在性特征且外观差异细微等问题,提出一种基于双注意力随机选择全局上下文细粒度识别网络。首先,使用ConvNeXt作为主干网络,提出双注意力随机选择模块,对不同阶段提取到的特征进行通道随机选择和空间随机选择,使网络能够关注到其他潜在微小判别性特征;其次,利用全局上下文注意力模块将深层特征的语义信息融合到中间层,增强中间层定位微小特征的能力;最后,提出一种多分支损失,对中间层、深层和拼接层特征引入分类损失,结合不同分支提取到的特征,诱导网络获得多样性的判别特征。所提网络在Stanford-cars、CUB-200-2011、FGVC-Aircraft 3个公开细粒度数据集和真实场景下车型数据集VMRURS上分别达到了95.2%、92.1%、94.0%和97.0%的识别准确率,其性能相比其他对比方法有较大幅度提升。     

多粒度跨模态行人重识别算法研究

针对当前跨模态行人重识别算法大多聚类能力不强、且难以提取高效辨别性特征的问题,提出了一种多粒度跨模态行人重识别算法。首先,在骨干网络Resnet50中加入非局部注意力机制模块,关注长距离像素之间的关系,保留细节信息;其次,采用多分支网络提取不同细粒度特征信息,增强模型的辨别性特征提取能力;最后,联合基于样本的三元组损失和基于中心的三元组损失监督训练,加速模型收敛。所提算法在SYSU-MM01数据集的全搜索模式下Rank-1和mean average precision分别达到62.83%和58.10%,在RegDB数据集的可见光到红外模式下Rank-1和mAP分别达到87.78%和76.22%。     

基于多样化局部注意力网络的行人重识别

针对现实场景中行人图像被遮挡以及行人姿态或视角变化造成的未对齐问题,该文提出一种基于多样化局部注意力网络(DLAN)的行人重识别(Re-ID)方法.首先,在骨干网络后分别设计了全局网络和多分支局部注意力网络,一方面学习全局的人体空间结构特征,另一方面自适应地获取人体不同部位的显著性局部特征;然后,构造了一致性激活惩罚函...     

基于多尺度注意力网络的行人属性识别算法

为了提高行人属性识别的准确率,提出了一种基于多尺度注意力网络的行人属性识别算法。为了提高算法的特征表达能力和属性判别能力,首先,在残差网络ResNet50的基础上,增加了自顶向下的特征金字塔和注意力模块,自顶向下的特征金字塔由自底向上提取的视觉特征构建;然后,融合特征金字塔中不同尺度的特征,为每层特征的通道注意力赋予不同的权重。最后,改进了模型损失函数以减弱数据不平衡对属性识别率的影响。在RAP和PA-100K数据集上的实验结果表明,与现有算法相比,本算法对行人属性识别的平均精度、准确度、F1性能更好。     

基于注意力机制的行人多目标跟踪方法

多目标跟踪(Multi-Object Tracking,MOT)是智能交通和智慧城市的关键技术之一。针对真实场景下行人多目标跟踪困难的问题,提出了一种基于注意力机制的行人多目标跟踪(Pedestrian Multi-Object Tracking based on Self-Attention,PMOT)算法。在特征提取网络增加注意力机制模块,利用Transformer的编码器结构对行人特征的空间信息进行编码以增强行人的局部特征,实现目标关联精度的提升。为了改善由于长时间遮挡导致的行人目标丢失问题,PMOT算法在数据关联中扩展一个参考特征分支,并结合行人运动特征与外观特征的相似度来实现目标匹配。实验结果表明,提出的算法在MOT17数据集上取得77.0%的跟踪准确度,有效提高了行人目标的跟踪效果。     

基于特征增强模块的小尺度行人检测

行人检测中,小尺度行人时常被漏检、误检。为了提升小尺度行人的检测准确率并且降低其漏检率,该文提出一个特征增强模块。首先,考虑到小尺度行人随着网络加深特征逐渐减少的问题,特征融合策略突破特征金字塔层级结构的约束,融合深层、浅层特征图,保留了大量小尺度行人特征。然后,考虑到小尺度行人特征容易与背景信息发生混淆的问题,通过自注意力模块联合通道注意力模块建模特征图空间、通道关联性,利用小尺度行人上下文信息和通道信息,增强了小尺度行人特征并且抑制了背景信息。最后,基于特征增强模块构建了一个小尺度行人检测器。所提方法在CrowdHuman数据集中小尺度行人的检测准确率为19.8%,检测速度为22帧/s,在CityPersons数据集中小尺度行人的误检率为13.1%。结果表明该方法对于小尺度行人的检测效果优于其他对比算法且实现了较快的检测速度。     

Fine-grained-based multi-feature fusion for occluded person re-identification

Many previous occluded person re-identification(re-ID) methods try to use additional clues (pose estimation or semantic parsing models) to focus on non-occluded regions. However, these methods extremely rely on the performance of additional clues and often capture pedestrian features by designing complex modules. In this work, we propose a simple Fine-Grained Multi-Feature Fusion Network (FGMFN) to extract discriminative features, which is a dual-branch structure consisting of global feature branch and partial feature branch. Firstly, we utilize a chunking strategy to extract multi-granularity features to make the pedestrian information contained in it more comprehensive. Secondly, a spatial transformer network is introduced to localize the pedestrian’s upper body, and then introduce a relation-aware attention module to explore the fine-grained information. Finally, we fuse the features obtained from the two branches to obtain a more robust pedestrian representation. Extensive experiments verify the effectiveness of our method under the occlusion scenario.     

基于注意力机制与局部关联特征的行人重识别北大核心CSCD

由于行人在真实场景下易受到背景、遮挡、姿态等问题的影响,为获取行人图像中更具辨别能力的特征,提出一种基于注意力机制和局部关联特征的行人重识别方法。首先,在网络框架中嵌入注意力模块以关注图像中表达能力强的特征;然后,利用图像中相邻区域的关联得到局部关联特征,并结合全局特征。本文方法在Market1501和DukeMTMC-ReID数据集上进行实验,Rank-1指标分别达到了95.3%和90.1%。结果证明,本文方法能充分获取判别力强的特征信息,使模型具有较强的识别能力。     

语义增强引导特征重建的遮挡行人检测

行人被严重遮挡导致无法提取有效特征是行人检测中出现漏检的一个主要原因。为了解决该问题,提出一种语义增强引导特征重建的遮挡行人检测算法。首先,利用空间和通道之间的依赖性设计了语义特征增强模块,建立全局上下文信息用以增强遮挡行人特征。其次,为关注行人的可见区域,通过自适应特征重建模块生成语义分割图,自适应调整通道的有效权重,增强行人和背景的可判别性。最后,通过多层次级联语义特征增强和自适应特征重建两个模块得到多层次特征图,融合多特征用以最终的行人解析。实验结果表明,该方法在具有挑战性的行人检测基准CityPersons和Caltech上,对严重遮挡目标的漏检率分别实现了47.28%和44.04%,在遮挡行人的检测上相较于其他方法具有较好的鲁棒性。     

Transformer-based global–local feature learning model for occluded person re-identification

Most recent occluded person re-identification (re-ID) methods usually learn global features directly from pedestrian images, or use additional pose estimation and semantic analysis model to learn local features, while ignoring the relationship between global and local features, thus incorrectly retrieving different pedestrians with similar attributes as the same pedestrian. Moreover, learning local features using auxiliary models brings additional computational cost. In this work, we propose a Transformer-based dual-branch feature learning model for occluded person re-ID. Firstly, we propose a global–local feature interaction module to learn the relationship between global and local features, thus enhancing the richness of information in pedestrian features. Secondly, we randomly erase local areas in the input image to simulate the real occlusion situation, thereby improving the model’s adaptability to the occlusion scene. Finally, a spilt group module is introduced to explore the local distinguishing features of pedestrian. Numerous experiments validate the effectiveness of our proposed method.     

基于渐进结构感受野和全局注意力的显著性检测

当前的显著性检测算法在复杂场景下难以分割出完整显著性区域以及锐利的边缘细节。针对这一问题,文中提出了一种新颖的特征融合算法。该方法利用全卷积神经网络获取多个层次粗糙的初始特征并结合特征金字塔结构对其深度解析。设计渐进结构感受野模块将特征转换至不同尺度的空间进行优化,实现特征的渐进融合与传递,有选择性地增强显著性区域。采用全局注意力机制消除背景噪声并建立显著性像素之间的长距离依赖,以提高显著性区域的有效性,突出显著性目标,再通过学习融合个层次特征得到显著图。综合实验表明,在绝对误差减小的情况下,F-measure指标远超出其他7种主流方法。所提的显著性模型综合了全卷积神经网络和特征金字塔结构的优点,结合文中设计的渐进结构感受野和全局注意力机制,使得显著图更接近真值图。