结合注意力与局部特征融合的行人重识别算法

行人重识别是指从一堆候选图片中找到与目标最相似的行人图片,本质上是一个图像检索的子问题。为了进一步增强网络提取关键特征的能力以及抑制噪声的干扰,通过对基于注意力机制和局部特征的行人重识别算法的研究,提出了结合注意力与局部特征融合的行人重识别算法。该算法将ResNeSt-50作为骨干网络,联合软注意力与非局部注意力机制,采用双流结构分别提取行人细粒度全局特征和细粒度局部特征,通过关注不同特征之间共享的空间域信息以及同一特征不同水平区域的潜在语义相关性,创建了空间感知特征融合模块（spatial-aware feature fusion module）以及跨区域特征融合模块（cross-region feature fusion module）。在Market-1501、DukeMTMC-reID以及CUHK03数据集上的实验结果表明该算法极大程度上提升了网络的检索能力,同时与现有算法进行比较,凸显出优越性能。     

基于多尺度多粒度融合的行人重识别方法

行人重识别是指利用计算机视觉技术在给定监控的图像中识别目标行人,受拍摄场景视角和姿势变化、遮挡等因素的影响,现有基于局部特征的行人重识别方法所提取的特征辨别力差,从而导致重识别精度较低。为有效地利用特征信息,提出一种多尺度多粒度融合的行人重识别方法MMF-Net。通过多个分支结构学习不同尺度和不同粒度的特征,并利用局部特征学习优化全局特征,以加强全局特征和局部特征的关联性。同时,在网络的低层引入语义监督模块以提取低层特征,并将其作为行人图像相似性度量的补充,实现低层特征和高层特征的优势互补。基于改进的池化层,通过结合最大池化和平均池化的特点获取具有强辨别力的特征。实验结果表明,MMF-Net方法在Market-1501数据集上的首位命中率和mAP分别为95.7%和89.1%,相比FPR、MGN、BDB等方法,其具有较优的鲁棒性。     

基于改进型Transformer编码器和特征融合的行人重识别

为了解决Transformer编码器在行人重识别中因图像块信息丢失以及行人局部特征表达不充分导致模型识别准确率低的问题,本文提出改进型Transformer编码器和特征融合的行人重识别算法。针对Transformer在注意力运算时会丢失行人图像块相对位置信息的问题,引入相对位置编码,促使网络关注行人图像块语义化的特征信息,以增强行人特征的提取能力。为了突出包含行人区域的显著特征,将局部patch注意力机制模块嵌入到Transformer网络中,对局部关键特征信息进行加权强化。最后,利用全局与局部信息特征融合实现特征间的优势互补,提高模型识别能力。训练阶段使用Softmax及三元组损失函数联合优化网络,本文算法在Market1501和DukeMTMC-reID两大主流数据集中评估测试,Rank-1指标分别达到97.5%和93.5%,平均精度均值（mean Average precision, mAP）分别达到92.3%和83.1%,实验结果表明改进型Transformer编码器和特征融合算法能够有效提高行人重识别的准确率。     

基于多粒度匹配的行人搜索算法

行人搜索旨在从一系列未经裁剪的图像中对行人进行定位与识别,融合了行人检测和行人重识别两个子任务。现有的方法设计了基于Faster R-CNN的端到端框架来解决此任务,但是行人检测和重识别两个子任务之间存在特征优化目标粒度不一致问题。为了解决这一问题,提出一种双全局池化结构,使用全局平均池化提取检测分支的共性特征,使用基于注意力机制的全局K最大池化提取re-ID分支的特性特征,为两个子任务提取符合各自粒度特性的特征。同时由于re-ID子任务的细粒度特性,还提出一种改善粒度匹配的画廊边界框加权算法,把查询人和画廊边界框的分辨率差异纳入相似度计算。实验证明融入多粒度的方法有效地提高了单阶段算法在CHUK-SYSU和PRW数据集上的性能。     

姿态驱动的局部特征对齐的行人重识别

针对行人重识别研究中的遮挡问题,本文提出了一种姿态驱动的局部特征对齐的行人重识别方法.网络主要包括姿态编码器和行人部件对齐模块.其中,姿态编码器通过重构姿态估计热力图抑制遮挡区域骨骼关键点置信度,引导网络提取行人可见部位的特征.行人部件对齐模块依据姿态编码器输出的关键点置信图,提取行人局部特征进行特征对齐,降低非行人特征的干扰.在遮挡、半身数据集上的仿真实验表明,该方法获得了优于其他对比网络的结果.     

多尺度多特征融合的行人重识别模型EI北大核心CSCD

为了解决行人重识别中行人特征表达不充分、忽视相邻区域的语义相关性等问题,提出了多尺度多特征融合的行人重识别模型.首先,通过多分支结构获取包含不同信息的特征图;其次,通过组合相邻的局部区域,强调局部特征之间的语义相关性;最后,结合最大池化和平均池化的优势,从不同的方向学习更加全面的特征信息.分别在Market-1501,DukeMTMC-reID以及MSMT17数据集上进行实验,结果表明,在光照不同、拍摄角度不同等环境下,文中模型的mAP分别达到了88.40%,78.50%,59.20%,能够有效地提取行人特征,识别精度较高.     

基于特征金字塔分支和非局部关注的行人重识别

关注全局轮廓和行人局部细节对现有行人重识别方法非常重要。为了能够提取这些更具代表性的特征,提出一种基于特征金字塔分支和非局部关注模块的行人重识别网络方法来提取行人全局和局部表征特征。该方法首先引入一种轻量级别的特征金字塔分支结构,从不同的网络层中提取特征,并且聚合成一个双向金字塔结构。其次为进一步提高行人重识别的精度,使用非局部关注模块提取全局特征,这样既能获取行人的全局信息,又能注重行人的局部细节,使两者最终融合的特征更具代表性。最后将不同层间的特征融合起来,并使用联合损失函数策略对网络模型进行训练,显著提高骨干网络的性能。通过在MSMT17、Market1501、DukeMTMC-ReID和PersonX四个公共行人重识别数据集上的大量实验,证明所提出的基于特征金字塔分支和非局部关注的方法相较于目前一些先进的行人重识别方法,具有一定的竞争力。     

基于全局特征改进的行人重识别

由于行人重识别面临姿态变化、遮挡干扰、光照差异等挑战, 因此提取判别力强的行人特征至关重要. 本文提出一种在全局特征基础上进行改进的行人重识别方法, 首先, 设计多重感受野融合模块充分获取行人上下文信息, 提升全局特征辨别力; 其次, 采用GeM池化获取细粒度特征; 最后, 构建多分支网络, 融合网络不同深度的特征预测行人身份. 本文方法在Market1501和DukeMTMC-ReID两大数据集上的mAP指标分别达到83.8%和74.9%. 实验结果表明, 本文方法有效改进了基于全局特征的模型, 提升了行人重识别的识别准确率.     

基于增强特征融合网络的行人重识别方法

针对行人重识别技术受遮挡、背景冗余、光照、姿态以及检测误差等问题的影响,鲁棒的行人特征表达对正确检索行人越来越重要.为了利用对齐特征和度量学习的优势,进一步分析局部空间语义特征.首先,在特征层面:一是在ResNet50框架中嵌入空间变换结构,自适应对齐局部区域空间特征,解决因局部区域不对齐导致的空间语义不一致的问题;二是通过对齐的局部特征设计一种增强特征融合网络,充分利用语义信息间的关联性提取图像的细节特征.然后,在损失函数层面:提出一种排序矩阵方法选取区域样本对,设计了一种局部三元组损失计算方法,联合正则化分类损失共同训练网络,充分利用融合的增强特征,达到高效度量的效果.最后,文中方法结合现有的重排算法进一步提高了Rank-1与mAP检索精度,在行人重识别基准数据集Market-1501上的实验结果,证明了本文方法的有效性.     

基于特征点相关性的行人重识别方法

目前行人重识别算法面临的主要问题包括背景过多、行人区域缺失及图片视角差异等。基 于行人区域中显著性特征之间存在着强相关性及行人区域与背景区域特征之间存在着弱相关性两方 面的观察,该研究提出一种基于特征点相关性的行人重识别方法。其中,通过采用一种基于视觉不 变性与弱检测的上下文信息处理模块,即 CIP(Contextual Information Processing)模块实现该方法。 由于具有强相关性的特征可能分布在不同的粒度之间,所以嵌入 CIP 模块的多粒度行人重识别方法 可以融合粒度之间的相关性信息。实验中,通过以第一配准率(Rank-1)和平均准确率为评价指标, 使用单数据集测试、跨数据集测试两种方法,在 4 个大型的行人重识别数据集上进行了充分的测试 实验,并利用两个可视化的方法——弱检测效果与行人区域中显著特征点的相关性效果,对 CIP 模 块的有效性进行验证。实验结果显示,目前主流的多粒度网络通过嵌入 CIP 模块,性能均有明显的 提升。