多分辨率特征注意力融合行人再识别

目的 行人再识别是实现跨摄像头识别同一行人的关键技术,面临外观、光照、姿态、背景等问题,其中区别行人个体差异的核心是行人整体和局部特征的表征。为了高效地表征行人,提出一种多分辨率特征注意力融合的行人再识别方法。方法 借助注意力机制,基于主干网络HRNet（high-resolution network）,通过交错卷积构建4个不同的分支来抽取多分辨率行人图像特征,既对行人不同粒度特征进行抽取,也对不同分支特征进行交互,对行人进行高效的特征表示。结果 在Market1501、CUHK03以及DukeMTMC-ReID这3个数据集上验证了所提方法的有效性,rank1分别达到95.3%、72.8%、90.5%,mAP（mean average precision）分别达到89.2%、70.4%、81.5%。在Market1501与DukeMTMC-ReID两个数据集上实验结果超越了当前最好表现。结论 本文方法着重提升网络提取特征的能力,得到强有力的特征表示,可用于行人再识别、图像分类和目标检测等与特征提取相关的计算机视觉任务,显著提升行人再识别的准确性。     

多形状局部区域神经网络结构的行人再识别

目的 目前,行人再识别领域将行人图像的全局和局部特征相结合的方法已经成为基本的解决方法。现有的基于局部特征的方法更多的是侧重于定位具有特定的语义区域,这样增加了学习难度,并且对于差异较大的图像场景不具有鲁棒性。为了解决上述问题,通过对网络结构进行改进提出一种多形状局部区域网络（MSPN）结构,它具有多分支并将横向和纵向条状的特征作为局部特征,能够端到端进行训练。方法 网络的多个分支设计可以同时获得多粒度和多形状的局部特征,其中一个分支表示全局特征的学习,两个分支表示横条状不同粒度的局部特征学习,最后一个分支表示竖条状局部特征学习。网络不再学习定位具有特定语义的区域,而是将图像提取的特征切分成横向和竖向的若干条作为局部特征。不同分支条的形状和数量不一致,最后获得不同粒度或不同形状的局部特征信息。因为切分方向的不同,多粒度多形状的局部特征缓解了行人在不同图像中无法对齐的问题。结果 在包括Market-1501、DukeMTMC-ReID和CUHK03在内的主流评估数据集上的综合实验表明,多形状局部区域神经网络和现有的主要方法相比具有更好的表现。其中在数据集Market-1501上达到84.57%的平均准确率（mAP）和94.51%的rank-1准确率。结论 多形状局部区域网络能够学习得到判别能力更强的深度学习模型,从而有效地提升行人再识别的准确率。     

针对形变与遮挡问题的行人再识别

目的 姿态变化和遮挡导致行人表现出明显差异,给行人再识别带来了巨大挑战。针对以上问题,本文提出一种融合形变与遮挡机制的行人再识别算法。方法 为了模拟行人姿态的变化,在基础网络输出的特征图上采用卷积的形式为特征图的每个位置学习两个偏移量,偏移量包括水平和垂直两个方向,后续的卷积操作通过考虑每个位置的偏移量提取形变的特征,从而提高网络应对行人姿态改变时的能力;为了解决遮挡问题,本文通过擦除空间注意力高响应对应的特征区域而仅保留低响应特征区域,模拟行人遮挡样本,进一步改善网络应对遮挡样本的能力。在测试阶段,将两种方法提取的特征与基础网络特征级联,保证特征描述子的鲁棒性。结果 本文方法在行人再识别领域3个公开大尺度数据集Market-1501、DukeMTMC-reID和CUHK03（包括detected和labeled）上进行评估,首位命中率Rank-1分别达到89.52%、81.96%、48.79%和50.29%,平均精度均值（mean average precision,mAP）分别达到73.98%、64.45%、43.77%和45.58%。结论 本文提出的融合形变与遮挡机制的行人再识别算法可以学习到鉴别能力更强的行人再识别模型,从而提取更加具有区分性的行人特征,尤其是针对复杂场景,在发生行人姿态改变及遮挡时仍能保持较高的识别准确率。     

基于全局特征改进的行人重识别

由于行人重识别面临姿态变化、遮挡干扰、光照差异等挑战, 因此提取判别力强的行人特征至关重要. 本文提出一种在全局特征基础上进行改进的行人重识别方法, 首先, 设计多重感受野融合模块充分获取行人上下文信息, 提升全局特征辨别力; 其次, 采用GeM池化获取细粒度特征; 最后, 构建多分支网络, 融合网络不同深度的特征预测行人身份. 本文方法在Market1501和DukeMTMC-ReID两大数据集上的mAP指标分别达到83.8%和74.9%. 实验结果表明, 本文方法有效改进了基于全局特征的模型, 提升了行人重识别的识别准确率.     

基于特征融合的遮挡行人重识别方法

行人重识别是一项解决跨场景跨摄像头下的行人识别问题的技术。当障碍物遮挡行人的某些部位时，人物结构的完整性会被破坏，影响识别效果或难于识别。针对行人重识别的遮挡问题，提出了一种新的遮挡行人重识别方法，引入关系感知全局注意力机制，融合全局特征和局部特征来进行行人重识别。识别方法的主要组成部分包括局部分支、全局分支和特征融合分支等。局部分支通过遍历局部特征来增强鲁棒性；全局分支通过利用关系感知全局注意力来挖掘行人显著性的信息；特征融合分支通过自适应地生成特征权重，利用加权求和的方式来融合全局特征和局部特征。实验验证了所提方法的有效性，并且有效提升了行人重识别的效果。     

基于生成对抗网络联合时空模型的行人重识别方法

跨摄像头的行人跟踪是智慧城市和智能安防的技术难题,而行人重识别是跨摄像头行人跟踪中最关键的技术。针对因领域偏差而导致行人重识别算法跨场景应用时准确率大幅下降的问题,提出一种基于生成对抗网络（GAN）联合时空模型的方法（STUGAN）。首先,通过引入GAN生成目标场景的训练样本,以增强识别模型的稳定性;然后,利用时空特征构建目标场景样本的时空模型,以筛选低概率匹配样本;最后,融合识别模型与时空模型来进行行人的重识别。在该领域典型的公开数据集Market-1501和DukeMTMC-reID上与词袋模型（BoW）、先进的无监督学习（PUL）、无监督多任务字典学习（UMDL）等先进无监督算法进行实验对比。实验结果分析表明,所提方法在Market-1501数据集上的rank-1、rank-5及rank-10指标的准确率达到66.4%、78.9%及84.7%,比对比算法最好结果分别高5.7,5.0和4.4个百分点;平均精度均值（mAP）仅低于保持主题一致性的循环生成网络（SPGAN）。     

多尺度多特征融合的行人重识别模型EI北大核心CSCD

为了解决行人重识别中行人特征表达不充分、忽视相邻区域的语义相关性等问题,提出了多尺度多特征融合的行人重识别模型.首先,通过多分支结构获取包含不同信息的特征图;其次,通过组合相邻的局部区域,强调局部特征之间的语义相关性;最后,结合最大池化和平均池化的优势,从不同的方向学习更加全面的特征信息.分别在Market-1501,DukeMTMC-reID以及MSMT17数据集上进行实验,结果表明,在光照不同、拍摄角度不同等环境下,文中模型的mAP分别达到了88.40%,78.50%,59.20%,能够有效地提取行人特征,识别精度较高.     

融合属性特征的行人重识别方法

行人重识别旨在跨监控设备下检索出特定的行人目标.由于不同的行人可能具有相似的外观,因此要求行人重识别模型能够捕捉到充足的细粒度特征.本文提出一种融合属性特征的行人重识别的深度网络方法,将行人重识别和属性识别集成在分类网络中,进行端到端的多任务学习.此外,对于每张输入图片,网络自适应地生成对应于每个属性的权重,并将所有属性的特征以加权求和的方式结合起来,与全局特征一起用于行人重识别任务.全局特征关注行人的整体外观,而属性特征关注细节区域,两者相互补充可以对行人进行更全面的描述.在行人重识别的主流数据集DukeMTMC-reID和Market-1501上的实验结果表明了本文方法的有效性,平均精度均值(Mean average precision,mAP)分别达到了74.2%和83.5%,Rank-1值分别达到了87.1%和93.6%.此外,在这两个数据集上的属性识别也得到了比较好的结果.     

融合属性特征的行人重识别方法

行人重识别旨在跨监控设备下检索出特定的行人目标.由于不同的行人可能具有相似的外观,因此要求行人重识别模型能够捕捉到充足的细粒度特征.本文提出一种融合属性特征的行人重识别的深度网络方法,将行人重识别和属性识别集成在分类网络中,进行端到端的多任务学习.此外,对于每张输入图片,网络自适应地生成对应于每个属性的权重,并将所有属性的特征以加权求和的方式结合起来,与全局特征一起用于行人重识别任务.全局特征关注行人的整体外观,而属性特征关注细节区域,两者相互补充可以对行人进行更全面的描述.在行人重识别的主流数据集DukeMTMC-reID和Market-1501上的实验结果表明了本文方法的有效性,平均精度均值(Mean average precision,mAP)分别达到了74.2%和83.5%,Rank-1值分别达到了87.1%和93.6%.此外,在这两个数据集上的属性识别也得到了比较好的结果.     

通道互注意机制下的部位对齐行人再识别

由于视角和行人姿态的变化、遮挡以及非手工行人框的误差等因素,同一行人的不同图像差异较大,给行人再识别课题的研究带来了极大挑战.为提高行人姿态变化下的行人再识别性能,提出通道互注意机制下的部位对齐行人再识别网络.首先,行人图像通过2个子网络,分别提取行人的外观特征和部位特征;然后设计一个通道互注意模块,通过挖掘行人部位特征通道间的互相关系,优化部位特征在通道维度上的权重;最后,将优化后的行人部位特征和外观特征通过双线性池化进行特征融合.在3个大规模公开数据集上的实验结果表明,通道互注意机制能有效优化部位特征,所设计的部位对齐网络具有抗姿态变化和背景干扰的能力.在Market-1501,DukeMTMC-reID和CUHK03数据集上Rank-1/mAP分别达到93.9%/90.6%, 87.6%/83.3%和70.4%/72.8%,优于其他现有方法.     

面向行人重识别的通道与空间双重注意力网络

针对现实场景下因受到摄像机视角变化、行人姿态变化、物体遮挡、图像低分辨率、行人图片未对齐等因素影响导致行人判别性特征难以获取的问题,设计混合池通道注意模块（HPCAM）和全像素空间注意力模块（FPSAM）,并基于这两种注意力模块提出一种通道与空间双重注意力网络（CSDA-Net）。HPCAM模块能够在通道维度上抑制无用信息的干扰,增强显著性特征的表达,以提取得到判别性强的行人特征。FPSAM模块在空间维度上增强行人特征的判别能力,从而提高行人重识别的准确率。通过在传统行人重识别深度模型框架中分阶段融入HPCAM模块和FPSAM模块,获得由粗糙到细粒度的注意力特征。实验结果表明,CSDA-Net网络在行人重识别主流数据集CUHK03、DukeMTMC-ReID和Market1501上的Rank-1准确率分别为78.3%、91.3%和96.0%,平均精度均值（mAP）分别为80.0%、82.1%和90.4%,与MGN网络相比,Rank-1准确率分别提升14.9、2.6和0.3个百分点,mAP分别提升13.7、3.7和3.5个百分点,能够提取更具鲁棒性和判别性的表达特征。     

两路互补对称CNN结构的行人再识别

目的 行人再识别的任务是研究如何在海量监控数据中准确地识别出某个特定场合中曾经出现过的人,已成为公共安全领域中一项新的且具有挑战性的研究课题。其挑战在于,行人在图像中有较大的姿态、视角、光照等变化,这些复杂的变化会严重影响行人再识别性能。近年来,以卷积神经网络（CNN）为代表的深度学习方法在计算机视觉领域取得了巨大的成功,也带动了行人再识别领域的相关研究。CNN有效地克服了行人变化,取得较高的准确率。然而,由于行人再识别数据集中行人标注量小,利用现有的一路CNN模型,其训练过程并不够充分,影响了深度学习模型的鉴别能力。为了解决上述问题,通过对网络结构进行改进,提出一种两路互补对称的CNN结构用于行人再识别任务。方法 本文方法每次同时输入两路样本,其中每路样本之间具有互补特性,此时在有限的训练样本下,输入的组合会更加多样化,CNN模型的训练过程更加丰富。结果 对本文提出的方法在两个公开的大规模数据集（Market-1501和DukeMTMC-reID）上进行实验评估,相比于基线方法有稳定的提升,相比于现存的其他一些方法,其结果也有竞争力。在Market-1501数据集上,1选识别正确率和平均精度均值分别达到了73.25%和48.44%。在DukeMTMC-reID数据集上,1选识别正确率和平均精度均值分别达到了63.02%和41.15%。结论 本文提出的两路互补对称CNN结构的行人再识别方法,能够在现有的有限训练样本下,更加充分地训练CNN模型,学习得到鉴别能力更强的深度学习模型,从而有效地提升行人再识别的性能。     

多姿态图像生成的行人重识别算法研究

不同行人的高度相似性以及相同行人外观姿态的差异性,使得不同摄像头下的行人重识别面临严峻的挑战。生成对抗网络可以合成新的图像,被认为是解决行人姿态变化的主要技术手段。提出一种基于多姿态图像生成的行人重识别算法,利用生成对抗网络生成不同姿态的行人图像,通过归一化消除姿态的影响,从而大幅度提升行人重识别的整体性能。该行人重识别算法包括多姿态行人图像生成、不同姿态的行人特征提取与融合、距离度量和重排序三部分内容。在Market-1501数据集和DukeMTMC-ReID数据集上的实验证实了所提出算法的有效性,通过与state-of-the-art行人重识别方法比较,展示了多姿态图像生成方法在行人重识别任务中的优越性,同时表明生成行人图像的特征与原始图像的特征是相互补充的。     

联合损失优化孪生网络的行人重识别

针对行人重识别应用中行人图像易受到光照、相似着装、拍摄角度影响而出现难分样本对,导致错误匹配的问题,提出一种联合损失结合孪生网络的行人重识别优化算法。首先利用残差卷积神经网络提取图像特征,并以焦点损失（Focal Loss）和交叉熵损失的联合损失对提取的特征进行监督训练,增加模型对难分样本对的关注度;然后采用余弦距离计算图像间的相似度实现行人的重识别;最后加入重排序算法降低误匹配率。采用Market-1501和DukeMTMC-reID数据集进行实验,结果表明,该算法的匹配率分别为91.2%和84.4%,平均精度均值（mAP）分别为85.8%和78.6%。     

融合RGB与灰度图像特征的行人再识别方法

针对行人再识别过程中相同身份行人图像颜色不一致,以及不同身份行人图像颜色相近问题,提出一种基于双分支残差网络的行人再识别方法。将RGB图像和灰度图像分别输入预训练的ResNet-50网络,获得RGB图像特征和灰度图像特征并对其进行融合,利用统一水平划分策略学习融合特征,同时将RGB特征、灰度特征和融合特征的拼接结果作为最终特征表示。在Market1501、DukeMTMC-ReID和CUHK03数据集上的实验结果表明,与PCB、Mancs等行人再识别方法相比,该方法的平均精度均值和首位命中率更高,且对于图像颜色变化具有更强的鲁棒性。     

结合注意力与批特征擦除的行人重识别模型

在行人重识别过程中,图像局部遮挡会造成识别准确率下降。提出一种结合注意力和批特征擦除的网络（ABFE-Net）模型,旨在学习具有辨别力的全局特征和局部细粒度特征,提高图像局部遮挡条件下行人特征的表达能力。将轻量级注意力模块嵌入到ResNet-50中自主学习每个通道的权重,通过强化有用特征和抑制无关特征增强网络特征的学习能力,提取行人更具辨别力的全局特征。对于深层特征使用批特征擦除方法,随机擦除同一批次特征图的相同区域,使得网络关注剩余的局部细粒度特征。将两种特征融合得到更加全面的行人特征表示,对其进行相似性度量并排序,得到行人重识别的结果。实验结果表明,与HA-CNN、PCB等方法相比,ABFE-Net模型在Market1501和DukeMTMC-reID数据集上的Rank-1和mAP分别达到94.4%、85.9%和88.3%、75.1%,能够明显增强行人特征的辨别性,提高行人重识别效果。