基于姿态对齐的行人重识别方法

行人重识别是指根据输入的某个行人图片, 在视频监控网络中对该行人目标进行检索. 行人的姿态变化和监控场景的亮度变化是该任务的两个主要挑战. 针对行人的姿态变化问题, 本文首先对训练集中行人图片进行稠密 图像块采样获得图像块集合, 然后对每一个图像块提取其局部表观空间特征, 最后在此特征集上聚类得到通用的行人部件字典. 由于该部件字典编码了行人的部件信息, 因此通过该字典内的每一个码元可以建立两幅行人图像中特定图像块之间的对应关系. 将两幅行人图片的图像块集合分别向部件字典投影, 可以获得2幅行人图片姿态对齐后的图像块序列. 针对监控场景的亮度变化问题, 本文在姿态对齐后的图像块上分别提取4种颜色描述子, 并将不同颜色描述子下的图像块相似性进行分数级组合以获得更好的亮度不变性. 其中不同颜色描述子之间的组合系数通过结构化输出支持向量机学习得到. 在常用的视点不变行人重识别(viewpoint invariant pedestrian recognition,VIPeR)数据集上的实验结果表明, 该方法在存在行人姿态变化和场景亮度变化干扰时获得了较好的行人重识别效果.     

结合多尺度特征学习与特征对齐的行人重识别

利用卷积神经网络对行人图像提取一个简单的全局特征,在复杂的行人重识别任务中无法获得令人满意的结果。局部特征学习的方式有助于获取更丰富的人体特征,但往往需要图像中的人体具有良好的空间对齐,而且,将人体各部分特征输入到独立的分支学习局部信息,忽略了人体各部分特征间的相关性,限制模型的性能提升。在此背景下,提出了一种新的多尺度特征学习算法,结合全局与局部特征学习得到更好的行人表示,提升复杂场景下模型的识别能力。对骨干网络不同深度输出的行人特征图,通过特征对齐模块对其执行空间变换,实现行人特征在空间上的矫正和对齐,进一步增强模型的泛化性能。在公开的大型行人重识别数据集上,与当前一些流行的方法进行了比较,验证了所提方法的有效性。     

基于通道信息对齐的素描行人重识别

素描行人重识别任务要求在彩色图像库中寻找与给定素描图像相同身份的行人.由于行人的素描图像与彩色图像之间的姿态、视角等信息不同,两个模态在相同的空间位置往往具有不同的语义信息,导致所提取的特征不具备鲁棒性.以往的研究着重于行人不随着模态信息变化的特征提取,而忽略了不同模态间语义不对齐的问题,进而导致最终编码的特征受到摄像机视角、人体姿态或者遮挡等干扰,不利于图像的匹配.对此,提出基于通道信息对齐的素描行人重识别模型.其中:语义信息一致性学习模块引导网络在特征的相同通道上形成固定编码的语义信息,降低语义信息不对齐所带来的影响;差异性特征注意力模块辅助网络编码具有差异性的身份相关信息,并设计空间差异正则化项以防止网络仅关注局部特征.两个模块互相配合,强化网络对语义信息的感知和对齐.所提出的方法在具挑战性数据集Sketch Re-ID、QMUL-ShoeV2上的rank-1和mAP分别达到60.0%和59.3%、33.5%和46.1%,从而验证了所提出方法的有效性.     

多姿态图像生成的行人重识别算法研究

不同行人的高度相似性以及相同行人外观姿态的差异性,使得不同摄像头下的行人重识别面临严峻的挑战。生成对抗网络可以合成新的图像,被认为是解决行人姿态变化的主要技术手段。提出一种基于多姿态图像生成的行人重识别算法,利用生成对抗网络生成不同姿态的行人图像,通过归一化消除姿态的影响,从而大幅度提升行人重识别的整体性能。该行人重识别算法包括多姿态行人图像生成、不同姿态的行人特征提取与融合、距离度量和重排序三部分内容。在Market-1501数据集和DukeMTMC-ReID数据集上的实验证实了所提出算法的有效性,通过与state-of-the-art行人重识别方法比较,展示了多姿态图像生成方法在行人重识别任务中的优越性,同时表明生成行人图像的特征与原始图像的特征是相互补充的。     

结合注意力与局部特征融合的行人重识别算法

行人重识别是指从一堆候选图片中找到与目标最相似的行人图片,本质上是一个图像检索的子问题。为了进一步增强网络提取关键特征的能力以及抑制噪声的干扰,通过对基于注意力机制和局部特征的行人重识别算法的研究,提出了结合注意力与局部特征融合的行人重识别算法。该算法将ResNeSt-50作为骨干网络,联合软注意力与非局部注意力机制,采用双流结构分别提取行人细粒度全局特征和细粒度局部特征,通过关注不同特征之间共享的空间域信息以及同一特征不同水平区域的潜在语义相关性,创建了空间感知特征融合模块（spatial-aware feature fusion module）以及跨区域特征融合模块（cross-region feature fusion module）。在Market-1501、DukeMTMC-reID以及CUHK03数据集上的实验结果表明该算法极大程度上提升了网络的检索能力,同时与现有算法进行比较,凸显出优越性能。     

基于姿态引导对齐网络的局部行人再识别

将局部行人再识别中的局部图像与整体图像直接进行比较会产生严重的空间错位,从而导致无法检测到正确目标。针对相同尺寸的行人局部图像与全局图像不匹配问题,提出姿态引导对齐网络(PGAN)模型,将姿态作为辅助信息引入到姿态引导的空间变换模块中,从局部图像与整体图像中提取仿射变换后的行人图像并将其与标准姿态进行对齐,再利用卷积神经网络学习相关特征实现局部行人再识别。实验结果表明,在Partial-REID数据集上PGAN模型取得65%的Rank-1准确率,相比直接使用深度卷积神经网络提取全局特征进行匹配的基准模型提高了3.7%,从而证明其具有良好的局部图像对齐能力及行人再识别效果。     

基于局部特征注意力的行人重识别方法

行人重识别旨在多个视频传感器条件下,从图像库中出检索特定的行人目标,具有重要的实际应用价值。针对以往对局部特征利用不足的情况,创新一种基于注意力引导的局部特征关系融合方法,使在对局部特征分别计算的同时,通过注意力引导,探索各局部特征之间的内部关系。首先将图像通过残差网络ResNet-50获取特征,然后对特征进行水平分割获取局部特征后,通过注意力引导的局部特征关系融合网络,最后使用难采样三元组损失函数和交叉熵损失函数对模型进行训练。实验表明,该算法在行人重识别公开数据集Market-1501上mAP值达到86.4%,Rank-1达到94.7%。     

基于非局部关注和多重特征融合的视频行人重识别

现有视频行人重识别方法无法有效地提取视频连续帧之间的时空信息,因此提出一种基于非局部关注和多重特征融合的行人重识别网络来提取全局与局部表征特征和时序信息。首先嵌入非局部关注模块来提取全局特征;然后通过提取网络的低中层特征和局部特征实现多重特征融合,从而获得行人的显著特征;最后将行人特征进行相似性度量并排序,计算出视频行人重识别的精度。在大数据集MARS和DukeMTMC-VideoReID上进行实现,结果显示所提出的模型较现有的多尺度三维卷积（M3D）和学习片段相似度聚合（LCSA）模型的性能均有明显提升,平均精度均值（mAP）分别达到了81.4%和93.4%,Rank-1分别达到了88.7%和95.3%;同时在小数据集PRID2011上,所提模型的Rank-1也达到94.8%。     

面向行人重识别的局部特征研究进展、挑战与展望

行人重识别(Person re-identification, Re-ID)旨在跨区域、跨场景的视频中实现行人的检索及跟踪, 其成果在智能监控、刑事侦查、反恐防暴等领域具有广阔的应用前景. 由于真实场景下的行人图像存在光照差异大、拍摄视角不统一、物体遮挡等问题, 导致从图像整体提取的全局特征易受无关因素的干扰, 识别精度不高. 基于局部特征的方法通过挖掘行人姿态、人体部位、视角特征等关键信息, 可加强模型对人体关键区域的学习, 降低无关因素的干扰, 从而克服全局特征的缺陷, 也因此成为近几年的研究热点. 本文对近年基于局部特征的行人重识别文献进行梳理, 简述了行人重识别的发展历程, 将基于局部特征的方法归纳为基于姿势提取、基于特征空间分割、基于视角信息、基于注意力机制四类, 并详细阐述了每一类的原理及优缺点. 然后在三个主流行人数据集上对典型方法的识别性能进行了分析比较, 最后总结了目前基于局部特征算法的难点, 并对未来本领域的研究趋势和发展方向进行展望.     

多尺度局部特征选择的行人重识别算法

针对行人重识别问题中人体姿态变化、对齐及部分遮挡等情况,提出了一种基于深度学习的局部区域选择和局部特征提取算法。算法首先利用残差卷积神经网络获取基本特征,然后利用多尺度的滑动窗口提取不同候选局部区域特征,并按照覆盖区域进行分组,每组选择一个最优局部特征,并融合整体特征得到最终特征表达。实验结果表明,通过该方法提取的局部特征具有更好的表达能力,提高了行人重识别的精确度。     

基于全局特征改进的行人重识别

由于行人重识别面临姿态变化、遮挡干扰、光照差异等挑战, 因此提取判别力强的行人特征至关重要. 本文提出一种在全局特征基础上进行改进的行人重识别方法, 首先, 设计多重感受野融合模块充分获取行人上下文信息, 提升全局特征辨别力; 其次, 采用GeM池化获取细粒度特征; 最后, 构建多分支网络, 融合网络不同深度的特征预测行人身份. 本文方法在Market1501和DukeMTMC-ReID两大数据集上的mAP指标分别达到83.8%和74.9%. 实验结果表明, 本文方法有效改进了基于全局特征的模型, 提升了行人重识别的识别准确率.     

基于改进型Transformer编码器和特征融合的行人重识别

为了解决Transformer编码器在行人重识别中因图像块信息丢失以及行人局部特征表达不充分导致模型识别准确率低的问题,本文提出改进型Transformer编码器和特征融合的行人重识别算法。针对Transformer在注意力运算时会丢失行人图像块相对位置信息的问题,引入相对位置编码,促使网络关注行人图像块语义化的特征信息,以增强行人特征的提取能力。为了突出包含行人区域的显著特征,将局部patch注意力机制模块嵌入到Transformer网络中,对局部关键特征信息进行加权强化。最后,利用全局与局部信息特征融合实现特征间的优势互补,提高模型识别能力。训练阶段使用Softmax及三元组损失函数联合优化网络,本文算法在Market1501和DukeMTMC-reID两大主流数据集中评估测试,Rank-1指标分别达到97.5%和93.5%,平均精度均值（mean Average precision, mAP）分别达到92.3%和83.1%,实验结果表明改进型Transformer编码器和特征融合算法能够有效提高行人重识别的准确率。     

基于可变形掩膜对齐卷积模型的行人再识别

行人再识别是计算机视觉领域的一个重要研究方向,在视频监控等非常广阔的领域有极其重要的应用前景.行人再识别研究中遇到的一个重要挑战就是行人图像对齐问题.利用全卷积模型和全局平均池化操作,提出了一种新的可变形掩膜对齐的深度卷积神经网络模型,它不仅可以解决行人图像对齐问题,而且实现了行人图像的多信息融合.该方法在Market...     

结合注意力和纹理特征增强的行人再识别

针对现有行人再识别算法在处理图像分辨率低、光照差异、姿态和视角多样等情况时,准确率低的问题,提出了基于空间注意力和纹理特征增强的多任务行人再识别算法.算法设计的空间注意力模块更注重与行人属性相关的潜在图像区域,融入属性识别网络,实现属性特征的挖掘;提出的行人再识别网络的纹理特征增强模块通过融合不同空间级别所对应的全局和...     

多属性融合网络的行人重识别方法

针对基于视频的行人重识别中由于光照与视角变化带来的问题,提出了一种结合局域质量评估网络与行人属性特征的网络。对部分行人图像进行预处理,裁掉部分行人图像的底部;将行人分割成三段通过卷积神经网络对其进行质量评估;结合事先人工标注的行人属性标签,进行训练从而完成重识别的过程。通过学习行人的全局特征和局部特征,能够有效解决行人图像中出现的遮挡和不对齐问题,通过在三个数据集上的结果对比表明方法实现了准确率上的提升。     

结合注意力与批特征擦除的行人重识别模型

在行人重识别过程中,图像局部遮挡会造成识别准确率下降。提出一种结合注意力和批特征擦除的网络（ABFE-Net）模型,旨在学习具有辨别力的全局特征和局部细粒度特征,提高图像局部遮挡条件下行人特征的表达能力。将轻量级注意力模块嵌入到ResNet-50中自主学习每个通道的权重,通过强化有用特征和抑制无关特征增强网络特征的学习能力,提取行人更具辨别力的全局特征。对于深层特征使用批特征擦除方法,随机擦除同一批次特征图的相同区域,使得网络关注剩余的局部细粒度特征。将两种特征融合得到更加全面的行人特征表示,对其进行相似性度量并排序,得到行人重识别的结果。实验结果表明,与HA-CNN、PCB等方法相比,ABFE-Net模型在Market1501和DukeMTMC-reID数据集上的Rank-1和mAP分别达到94.4%、85.9%和88.3%、75.1%,能够明显增强行人特征的辨别性,提高行人重识别效果。     

基于韦伯局部算子和颜色特征的行人再识别

在视频监控中,行人再识别有着重要作用。针对当前识别精度高的行人再识别特征数值复杂、提取困难的问题,提出一种数值简单、提取速度快的融合特征。在分析韦伯局部算子差分激励和方向分量的基础上,用圆形邻域的差分激励表现图像的纹理特性,然后用Local Binary Pattern编码的方向分量表现图像边缘方向,再用HSV颜色空间直方图表现图像颜色信息,最后串联特征。实验结果表明在ETHZ、VIPeR行人再识别数据集上,该特征提取速度快,对姿态、视角、光照、身体部分被遮挡变化有强鲁棒性。