基于姿态对齐的行人重识别方法

行人重识别是指根据输入的某个行人图片, 在视频监控网络中对该行人目标进行检索. 行人的姿态变化和监控场景的亮度变化是该任务的两个主要挑战. 针对行人的姿态变化问题, 本文首先对训练集中行人图片进行稠密图像块采样获得图像块集合, 然后对每一个图像块提取其局部表观空间特征, 最后在此特征集上聚类得到通用的行人部件字典. 由于该部件字典编码了行人的部件信息, 因此通过该字典内的每一个码元可以建立两幅行人图像中特定图像块之间的对应关系. 将两幅行人图片的图像块集合分别向部件字典投影, 可以获得2幅行人图片姿态对齐后的图像块序列. 针对监控场景的亮度变化问题, 本文在姿态对齐后的图像块上分别提取4种颜色描述子, 并将不同颜色描述子下的图像块相似性进行分数级组合以获得更好的亮度不变性. 其中不同颜色描述子之间的组合系数通过结构化输出支持向量机学习得到. 在常用的视点不变行人重识别(viewpoint invariant pedestrian recognition,VIPeR)数据集上的实验结果表明, 该方法在存在行人姿态变化和场景亮度变化干扰时获得了较好的行人重识别效果.     

结合多尺度特征学习与特征对齐的行人重识别

利用卷积神经网络对行人图像提取一个简单的全局特征;在复杂的行人重识别任务中无法获得令人满意的结果。局部特征学习的方式有助于获取更丰富的人体特征;但往往需要图像中的人体具有良好的空间对齐;而且;将人体各部分特征输入到独立的分支学习局部信息;忽略了人体各部分特征间的相关性;限制模型的性能提升。在此背景下;提出了一种新的多尺度特征学习算法;结合全局与局部特征学习得到更好的行人表示;提升复杂场景下模型的识别能力。对骨干网络不同深度输出的行人特征图;通过特征对齐模块对其执行空间变换;实现行人特征在空间上的矫正和对齐;进一步增强模型的泛化性能。在公开的大型行人重识别数据集上;与当前一些流行的方法进行了比较;验证了所提方法的有效性。     

基于通道信息对齐的素描行人重识别

素描行人重识别任务要求在彩色图像库中寻找与给定素描图像相同身份的行人.由于行人的素描图像与彩色图像之间的姿态、视角等信息不同,两个模态在相同的空间位置往往具有不同的语义信息,导致所提取的特征不具备鲁棒性.以往的研究着重于行人不随着模态信息变化的特征提取,而忽略了不同模态间语义不对齐的问题,进而导致最终编码的特征受到摄像机视角、人体姿态或者遮挡等干扰,不利于图像的匹配.对此,提出基于通道信息对齐的素描行人重识别模型.其中:语义信息一致性学习模块引导网络在特征的相同通道上形成固定编码的语义信息,降低语义信息不对齐所带来的影响;差异性特征注意力模块辅助网络编码具有差异性的身份相关信息,并设计空间差异正则化项以防止网络仅关注局部特征.两个模块互相配合,强化网络对语义信息的感知和对齐.所提出的方法在具挑战性数据集Sketch Re-ID、QMUL-ShoeV2上的rank-1和mAP分别达到60.0%和59.3%、33.5%和46.1%,从而验证了所提出方法的有效性.     

多姿态图像生成的行人重识别算法研究

不同行人的高度相似性以及相同行人外观姿态的差异性,使得不同摄像头下的行人重识别面临严峻的挑战。生成对抗网络可以合成新的图像,被认为是解决行人姿态变化的主要技术手段。提出一种基于多姿态图像生成的行人重识别算法,利用生成对抗网络生成不同姿态的行人图像,通过归一化消除姿态的影响,从而大幅度提升行人重识别的整体性能。该行人重识别算法包括多姿态行人图像生成、不同姿态的行人特征提取与融合、距离度量和重排序三部分内容。在Market-1501数据集和DukeMTMC-ReID数据集上的实验证实了所提出算法的有效性,通过与state-of-the-art行人重识别方法比较,展示了多姿态图像生成方法在行人重识别任务中的优越性,同时表明生成行人图像的特征与原始图像的特征是相互补充的。     

结合注意力与局部特征融合的行人重识别算法

行人重识别是指从一堆候选图片中找到与目标最相似的行人图片,本质上是一个图像检索的子问题。为了进一步增强网络提取关键特征的能力以及抑制噪声的干扰,通过对基于注意力机制和局部特征的行人重识别算法的研究,提出了结合注意力与局部特征融合的行人重识别算法。该算法将ResNeSt-50作为骨干网络,联合软注意力与非局部注意力机制,采用双流结构分别提取行人细粒度全局特征和细粒度局部特征,通过关注不同特征之间共享的空间域信息以及同一特征不同水平区域的潜在语义相关性,创建了空间感知特征融合模块（spatial-aware feature fusion module）以及跨区域特征融合模块（cross-region feature fusion module）。在Market-1501、DukeMTMC-reID以及CUHK03数据集上的实验结果表明该算法极大程度上提升了网络的检索能力,同时与现有算法进行比较,凸显出优越性能。     

基于局部特征注意力的行人重识别方法

行人重识别旨在多个视频传感器条件下,从图像库中出检索特定的行人目标,具有重要的实际应用价值。针对以往对局部特征利用不足的情况,创新一种基于注意力引导的局部特征关系融合方法,使在对局部特征分别计算的同时,通过注意力引导,探索各局部特征之间的内部关系。首先将图像通过残差网络ResNet-50获取特征,然后对特征进行水平分割获取局部特征后,通过注意力引导的局部特征关系融合网络,最后使用难采样三元组损失函数和交叉熵损失函数对模型进行训练。实验表明,该算法在行人重识别公开数据集Market-1501上mAP值达到86.4%,Rank-1达到94.7%。     

基于姿态引导对齐网络的局部行人再识别

将局部行人再识别中的局部图像与整体图像直接进行比较会产生严重的空间错位,从而导致无法检测到正确目标。针对相同尺寸的行人局部图像与全局图像不匹配问题,提出姿态引导对齐网络(PGAN)模型,将姿态作为辅助信息引入到姿态引导的空间变换模块中,从局部图像与整体图像中提取仿射变换后的行人图像并将其与标准姿态进行对齐,再利用卷积神经网络学习相关特征实现局部行人再识别。实验结果表明,在Partial-REID数据集上PGAN模型取得65%的Rank-1准确率,相比直接使用深度卷积神经网络提取全局特征进行匹配的基准模型提高了3.7%,从而证明其具有良好的局部图像对齐能力及行人再识别效果。     

基于非局部关注和多重特征融合的视频行人重识别

现有视频行人重识别方法无法有效地提取视频连续帧之间的时空信息,因此提出一种基于非局部关注和多重特征融合的行人重识别网络来提取全局与局部表征特征和时序信息。首先嵌入非局部关注模块来提取全局特征;然后通过提取网络的低中层特征和局部特征实现多重特征融合,从而获得行人的显著特征;最后将行人特征进行相似性度量并排序,计算出视频行人重识别的精度。在大数据集MARS和DukeMTMC-VideoReID上进行实现,结果显示所提出的模型较现有的多尺度三维卷积（M3D）和学习片段相似度聚合（LCSA）模型的性能均有明显提升,平均精度均值（mAP）分别达到了81.4%和93.4%,Rank-1分别达到了88.7%和95.3%;同时在小数据集PRID2011上,所提模型的Rank-1也达到94.8%。     

多尺度局部特征选择的行人重识别算法

针对行人重识别问题中人体姿态变化、对齐及部分遮挡等情况,提出了一种基于深度学习的局部区域选择和局部特征提取算法.算法首先利用残差卷积神经网络获取基本特征,然后利用多尺度的滑动窗口提取不同候选局部区域特征,并按照覆盖区域进行分组,每组选择一个最优局部特征,并融合整体特征得到最终特征表达.实验结果表明,通过该方法提取的局部...     

融合姿态引导和多尺度特征的遮挡行人重识别

目的 在行人重识别任务中,行人外观特征会因为遮挡发生变化,从而降低行人特征的辨别性,仅基于可视部分的传统方法仍会识别错误。针对此问题,提出了一种融合姿态引导和多尺度特征的遮挡行人重识别方法。方法 首先,构建了一种特征修复模块,根据遮挡部位邻近信息恢复特征空间中被遮挡区域的语义信息,实现缺失部位特征的修补。然后,为了从修复的图像中提取有效的姿态信息,设计了一种姿态引导模块,通过姿态估计引导特征提取,实现更加精准的行人匹配。最后,搭建了特征增强模块,并融合显著性区域检测方法增强有效的身体部位特征,同时消除背景信息造成的干扰。结果 在3个公开的数据集上进行了对比实验和消融实验,在Market1501、DukeMTMC-reID（Duke multi-tracking multi-camera re-identification）和Occluded-DukeMTMC（occluded Duke multi-tracking multi-camera re-identification）数据集上的平均精度均值（mean average precision, mAP）和首次命中率（rank-1 accuracy, Rank-1）分别为88.8%和95.5%、79.2%和89.3%、51.7%和60.3%。对比实验结果表明提出的融合算法提高了行人匹配的准确率,具有较好的竞争优势。结论 本文所提的姿态引导和多尺度融合方法,修复了因遮挡而缺失的部位特征,结合姿态信息融合了不同粒度的图像特征,提高了模型的识别准确率,能有效缓解遮挡导致的误识别现象,验证了方法的有效性。     

基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。     

结合注意力机制和多属性分类的行人再识别

目的 在行人再识别中,经常出现由于行人身体部位被遮挡和行人图像对之间不对齐而导致误判的情况。利用人体固有结构的特性,关注具有显著性特征的行人部件,忽略带有干扰信息的其他部件,有利于判断不同摄像头拍摄的行人对是否为同一人。因此,提出了基于注意力机制和多属性分类的行人再识别方法。方法 在训练阶段,利用改进的ResNet50网络作为基本框架提取特征,随后传递给全局分支和局部分支。在全局分支中,将该特征作为全局特征进行身份和全局属性分类;在局部分支中,按信道展开特征,获取每层响应值最高的点,聚合这些点,分成4个行人部件,计算每个行人部件上显著性特征的权重,并乘以初始特征得到每个部件的总特征。最后将这4个部件的总特征都进行身份和对应属性的分类。在测试阶段,将通过网络提取的部位特征和全局特征串联起来,计算行人间的相似度,从而判断是否为同一人。结果 本文方法引入了Market-1501_attribute和DukeMTMC-attribute数据集中的属性信息,并在Market-1501和DukeMTMC-reid数据集上进行测试,其中rank-1分别达到90.67%和80.2%,mAP分别达到76.65%和62.14%;使用re-ranking算法后,rank-1分别达到92.4%和84.15%,mAP分别达到87.5%和78.41%,相比近年来具有代表性的其他方法,识别率有了极大提升。结论 本文方法通过学习行人属性能更快地聚集行人部件的注意力,而注意力机制又能更好地学习行人部位的显著性特征,从而有效解决了行人被遮挡和不对齐的问题,提高了行人再识别的准确率。     

基于组件特征与多注意力融合的车辆重识别方法

为提升车辆重识别算法的性能,提出一种基于车辆组件特征与多注意力融合的特征学习方法.首先,修改深度残差网络以获取具有丰富语义信息的特征图,同时应用语义分割网络将车辆图像划分为车辆正面、背面、顶面、侧面及背景区域,以实现组件特征提取并消除视角变化的影响.然后,设计多注意力融合模块,基于面积注意力与特征注意力实现组件特征的自适应融合.最后,在多任务学习框架下,优化车辆重识别的三元组损失与辅助分类任务的交叉熵与焦点损失,对网络参数进行训练.在多个数据集上的实验结果表明,提出的方法在大多数性能指标上均超越了现有方法.进一步的消融实验证明了多注意力融合模块与多任务损失函数在特征提取上的有效性.     

基于多尺度特征表示的行人再识别

应用于复杂场景下的行人再识别方法,常采用结合全局特征和局部特征的行人表示策略来提升模型的判别能力.但是,提取局部特征往往需要针对特定的语义区域设计专门的模型,增加了算法的复杂性.为解决上述问题,提出一种基于多尺度特征表示的行人再识别模型.该模型通过对不同细粒度局部特征与全局特征的联合表示,得到多层次具有互补性的判别信息,端对端地完成行人再识别任务.为了在获取高区分度信息的同时保留更多的细节信息,采用最大池化加平均池化的方式对特征进行下采样;此外,通过引入TriHard loss约束全局特征并采用随机擦除方法增强数据来进一步提升模型对复杂场景的适应性.在Market-1501和DukeMTMC-reID数据集上进行对比实验,实验结果表明,rank-1的准确率分别达到94.9%和87.1%,从而验证了所提出方法的有效性.     

多特征融合的人体目标再识别

在非重叠的多摄像机监控系统中,人体目标再识别是需要解决的主要问题之一。针对当前人体目标再识别使用目标的外观统计特征或者通过训练获取目标特征时存在的问题,提出一种无需训练,对视角、光照变化和姿态变化具有较强鲁棒性的基于多特征的人体目标再识别算法。首先根据空间直方图建立目标整体外观表现模型对目标进行粗识别,之后将人体目标分为3部分,忽略头部信息,分别提取躯干和腿部的主色区域的局部颜色和形状特征,并通过EMD(earth movers distance)距离进行目标精识别。实验结果表明,本文算法具有较高的识别率,且不受遮挡和背景粘连的影响。     

基于多粒度共享语义中心关联的文本到人物检索方法

基于文本的人物检索旨在通过使用文本描述作为查询来识别特定人物。现有的先进方法通常设计多种对齐机制实现跨模态数据在全局和局部的对应关系;然而忽略了不同对齐机制之间的相互影响。因此;提出一种多粒度共享语义中心关联机制;深入探索全局对齐和局部对齐之间的促进和抑制效应。首先;引入一个多粒度交叉对齐模块;并通过增强图像-句子和局部区域-分词之间的交互;实现跨模态数据在联合嵌入空间的多层次对齐;其次;建立一个共享语义中心;将它作为一个可学习的语义枢纽;并通过全局特征和局部特征的关联;增强不同对齐机制之间的语义一致性;促进全局和局部特征的协同作用。在共享语义中心内;计算图像特征和文本特征之间的局部和全局跨模态相似性关系;提供一种全局视角与局部视角的互补度量;并最大限度地促进多种对齐机制之间的正向效应;最后;在CUHK-PEDES数据集上进行实验。结果表明:所提方法在Rank-1指标上较基线方法显著提升了8.69个百分点;平均精度均值（mAP）提升了6.85个百分点。在ICFG-PEDES和RSTPReid数据集上所提方法也取得了优异的性能;明显超越了所有对比方法。