基于语义引导自注意力网络的换衣行人重识别模型

针对换衣行人重识别（ReID）任务中有效信息提取困难的问题，提出一种基于语义引导自注意力网络的换衣ReID模型。首先，利用语义信息将图像分割出无服装图像，和原始图像一起输入双分支多头自注意力网络进行计算，分别得到衣物无关特征和完整行人特征。其次，利用全局特征重建模块（GFR），重建两种全局特征，得到的新特征中服装区域包含换衣任务中鲁棒性更好的头部特征，使得全局特征中的显著性信息更突出；利用局部特征重组重建模块（LFRR），在完整图像特征和无服装图像特征中提取头部和鞋部局部特征，强调头部和鞋部特征的细节信息，并减少换鞋造成的干扰。最后，除了使用行人重识别中常用的身份损失和三元组损失，提出特征拉近损失（FPL），拉近局部与全局特征、完整图像特征与无服装图像特征之间的距离。在PRCC(Person ReID under moderate Clothing Change)和VC-Clothes(Virtually Changing-Clothes)数据集上，与基于衣物对抗损失（CAL）模型相比，所提模型的平均精确率均值（mAP）分别提升了4.6和0.9个百分点；在Celeb-reID和Cele...     

基于深度学习的行人重识别综述

行人重识别(Re-ID)是计算机视觉领域的热点问题,主要研究的是“如何关联位于不同物理位置的不同摄像机捕获到的特定人员的问题”。传统的行人Re-ID方法主要基于底层特征如局部描述符、颜色直方图和人体姿势的提取。近几年,针对行人遮挡和姿势不对齐等传统方法所遗留问题,业内提出了基于区域、注意力机制、姿势和生成对抗性网络(GAN)等深度学习的行人Re-ID方法,实验结果得到较明显的提高。故对深度学习在行人Re-ID中的研究进行了总结和分类,区别于以前的综述,将行人重识别方法分成四大类来讨论。首先,通过区域、注意力、姿势和GAN四类方法来综述基于深度学习的行人Re-ID方法;然后,分析这些方法在主流数据集上的mAP和Rank-1指标性能表现,结果显示基于深度学习的方法可以增强局部特征之间的联系并缩小域间隙,从而减少模型过拟合;最后,展望了行人Re-ID方法研究的发展方向。     

基于改进领域分离网络的迁移学习模型

为进一步提高迁移学习的特征识别和提取效率、减少负迁移并增强模型的学习性能，提出了一种基于改进领域分离网络（DSN）的迁移学习模型AMCN-DSN(Attention Mechanism Capsule Network-DSN)。首先，使用融合多头注意力机制的胶囊网络（MHAC）完成源域和目标域特征信息的提取与重构，基于注意力机制有效筛选特征信息，并利用胶囊网络提高深层信息的提取质量；其次，引入动态对抗因子优化重构损失函数，使重构器可动态衡量源域与目标域信息的相对重要性，从而增强迁移学习的鲁棒性和提升收敛速度；最后，在分类器中融入多头自注意力机制，以强化对公有特征的语义理解并提高分类性能。在情感分析实验中，相较于其他迁移学习模型，所提模型能够将学习到的知识迁移到数据量少但相似性高的任务中，分类性能的下降幅度最小，迁移表现较好；在意图识别实验中，相较于分类性能次优的胶囊网络改进领域对抗神经网络（DANN+CapsNet）模型，所提模型的精确度、召回率和F1值分别提升了4.5%、4.3%和4.4%，表明所提模型在处理小数据问题和个性化问题上具有一定优势。与DSN相比，AMCNDSN在上述两类...     

基于孪生网络和重排序的行人重识别

针对非重叠多摄像头下的行人重识别（Re-ID）易受到光照、姿势及遮挡等影响和实验过程中存在图像错误匹配的情况，提出一种基于孪生网络和重排序的行人重识别方法。首先，给定一对行人训练图像，孪生网络可以同时学习一个具有辨别力的卷积神经网络（CNN）特征和相似性度量，并预测两个输入图像的行人身份以及判断它们是否属于同一个行人；然后，通过k互近邻方法来降低图像错误匹配的情况；最后，将欧氏距离和杰卡德距离加权来对排序表进行重排序。在数据集Market1501和CUHK03上进行多次实验，实验结果显示在Market1501上Single Query情况下在图库中第一次就成功匹配的概率（Rank1）达到83.44%，平均精度均值（mAP）为68.75%，在CUHK03上single-shot情况下Rank1达到85.56%，mAP为88.32%，明显高于传统的基于特征表示和度量学习的方法。     

基于全局特征拼接的行人重识别算法研究

针对目前行人重识别出现网络模型复杂化、识别率低的问题,提出一种基于全局特征拼接的行人重识别算法。首先利用卷积神经网络(CNN)提取全局特征;然后把不同卷积层提取的特征进行拼接,使特征信息互补;最后将拼接后的特征再次进行卷积处理,获得高表征能力的特征。网络训练时,采用聚类损失函数和标签平滑损失函数联合训练,同时引入了随机擦除和减小池化步长的训练技巧。在Market1501、DukeMTMC-reID、CUHK03和MSMT17数据集上进行了实验验证,实验表明所提算法具有良好性能,其中在Market1501上,Rank-1、mAP分别达到了95.9%和94.6%。     

联合均等采样随机擦除和全局时间特征池化的视频行人重识别方法

针对为解决视频监控中遮挡、背景物干扰,以及行人外观、姿势相似性等因素导致的视频行人重识别准确率较低的问题,提出了联合均等采样随机擦除和全局时间特征池化的视频行人重识别方法。首先针对目标行人被干扰或部分遮挡的情况,采用了均等采样随机擦除（ESE）的数据增强方法来有效地缓解遮挡,提高模型的泛化能力,更准确地匹配行人;其次为了进一步提高视频行人重识别的精度,学习更有判别力的特征表示,使用三维卷积神经网络（3DCNN）提取时空特征,并在网络输出行人特征表示前加上全局时间特征池化层（GTFP）,这样既能获取上下文的空间信息,又能细化帧与帧之间的时序信息。通过在MARS、DukeMTMC-VideoReID 和PRID-2011三个公共视频数据集上的大量实验,证明所提出的联合均等采样随机擦除和全局时间特征池化的方法,相较于目前一些先进的视频行人重识别方法,具有一定的竞争力。     

基于双流结构的跨模态行人重识别关系网络

针对可见光-红外跨模态行人重识别中模态差异导致的识别精确率低的问题,提出了一种基于双流结构的跨模态行人重识别关系网络（IVRNBDS）。首先,利用双流结构分别提取可见光模态和红外模态行人图像的特征;然后,将行人图像的特征图水平切分为6个片段,以提取行人的每个片段的局部特征和其他片段的特征之间的关系,以及行人的核心特征和平均特征之间的关系;最后,在设计损失函数时,引入异质中心三元组损失（HC Loss）函数放松普通三元组损失函数的严格约束,从而使不同模态的图像特征可以更好地映射到同一特征空间中。在公开数据集SYSU-MM01(Sun Yat-Sen University Multi Modal re-identification）和Reg DB(Dongguk Body-based person Recognition）上的实验结果表明,虽然IVRNBDS的计算量略高于当前主流的跨模态行人重识别算法,但所提网络在相似度排名第1(Rank-1）指标和平均精度均值（m AP）指标上都有所提高,提高了跨模态行人重识别算法的识别精确率。     

联合损失优化孪生网络的行人重识别

针对行人重识别应用中行人图像易受到光照、相似着装、拍摄角度影响而出现难分样本对,导致错误匹配的问题,提出一种联合损失结合孪生网络的行人重识别优化算法。首先利用残差卷积神经网络提取图像特征,并以焦点损失（Focal Loss）和交叉熵损失的联合损失对提取的特征进行监督训练,增加模型对难分样本对的关注度;然后采用余弦距离计算图像间的相似度实现行人的重识别;最后加入重排序算法降低误匹配率。采用Market-1501和DukeMTMC-reID数据集进行实验,结果表明,该算法的匹配率分别为91.2%和84.4%,平均精度均值（mAP）分别为85.8%和78.6%。     

基于多粒度特征生成对抗网络的跨分辨率行人重识别

现有基于生成对抗网络（GAN）的超分辨率（SR）重建方法用于跨分辨率行人重识别（ReID）时,重建图像在纹理结构内容的恢复和特征一致性保持方面均存在不足。针对上述问题,提出基于多粒度信息生成网络的跨分辨率行人ReID方法。首先,在生成器的多层网络上均引入自注意力机制,聚焦多粒度稳定的结构关联区域,重点恢复低分辨率（LR）行人图像的纹理结构信息;同时,在生成器后增加一个识别器,在训练过程中最小化生成图像与真实图像在不同粒度特征上的损失,提升生成图像与真实图像在特征上的一致性。然后,联合自注意力生成器和识别器,与判别器交替优化,在内容和特征上改进生成图像。最后,联合改进的GAN和行人ReID网络交替训练优化网络的模型参数,直至模型收敛。在多个跨分辨率行人数据集上的实验结果表明,所提算法的累计匹配曲线（CMC）在其首选识别率（rank?1）上的准确率较现有同类算法平均提升10个百分点,在提升SR图像内容一致性和特征表达一致性方面均表现更优。     

加强重识别的行人多目标跟踪算法

在多目标跟踪任务中,重识别（re-identification,Re-ID）效果通常依赖于检测性能的好坏,检测偏差会导致Re-ID特征模糊,从而降低重识别精度。特别是在尺度变化和频繁遮挡等复杂场景下,Re-ID鲁棒性不高,多目标跟踪效果较差。针对该问题,提出一种加强重识别的行人多目标跟踪算法。该算法以CenterNet为检测器,通过预测目标中心点热力图来检测目标位置,并设计检测偏差损失加强对预测热力图响应值的约束,以缓解因检测不准确导致的Re-ID特征模糊问题。为提高Re-ID鲁棒性,提出Re-ID可学习特征动态扩充策略。该策略通过自适应扩充目标中心的Re-ID可学习特征来提高特征质量,并减小Re-ID对中心点检测精度的依赖。在MOT16和MOT17测试集上进行验证,结果表明,算法能有效提升Re-ID性能,与主流算法相比具有更好的跟踪效果,且兼顾了实时性,达到25.6 FPS。     

时域模型对视频行人重识别性能影响的研究

行人重识别是计算机视觉领域一个重要的研究方向。近年来,随着视频监控需求的日益增长,基于视频序列的行人重识别研究受到了广泛的关注。典型的视频序列行人重识别系统由三部分构成：图片特征提取器（例如卷积神经网络）、提取时域信息的时域模型、损失函数。在固定特征提取器和损失函数的前提下,研究不同时域模型对视频行人重识别算法性能的影响,包括时域池化、时域注意力、循环神经网络。在Mars数据集上的实验结果表明：与基于图像的行人重识别基准算法相比,采用时域池化模型、时间注意力模型可以有效改善识别精度,但采用循环神经网络后识别效果比基准算法有所下降。     

基于迁移学习的行人再识别

行人再识别指的是在无重叠的多摄像机监控视频中,匹配不同摄像机中的行人目 标。提出了一种基于迁移学习的行人再识别方法。在训练阶段,针对现有的基于深度卷积神经 网络的图像识别模型进行参数微调,将网络模型迁移学习至行人再识别模型。测试阶段,利用 学习好的网络模型提取行人图像的特征,再采用余弦距离来描述行人对之间的相似度。在 CUHK03、Market-1501 和 DukeMTMC-reID 3 个数据集上进行了深入的实验分析,实验结果表 明该方法取得了较高的累积匹配得分,特别是第 1 匹配率远远超过了非深度学习的方法,与其 他基于深度学习的行人再识别方法相比,准确率也有所提升。     

基于局部异质协同双路网络的跨模态行人重识别

针对现有跨模态行人重识别方法忽略行人的局部特征及模态间的相互协同的问题,文中提出基于局部异质协同双路网络的跨模态行人重识别方法.首先,通过双路网络提取不同模态的全局特征进行局部精细化,挖掘行人的结构化局部信息.然后,通过标签和预测信息建立跨模态局部信息之间的关联,进行协同自适应的跨模态融合,使不同模态的特征之间相互补充,获得富有判别力的特征.在RegDB、SYSU-MM01跨模态行人重识别数据集上的实验验证文中方法的有效性.     

基于多分支协作的行人重识别网络

设计多分支网络以提取分集特征已成为行人重识别领域的重要方向之一.由于单分支学习到的特征表达能力有限,所以文中提出基于多分支协作的行人重识别网络.在局部分支、全局分支、全局对比池化分支、关联分支这4个相互协作的分支上进行特征提取,获得强大的分集行人特征表达能力.文中网络可应用于不同的主干网络.实验中考虑OSNet、ResNet作为文中网络的主干网络进行验证.实验表明,文中网络在行人重识别数据集上均取得Start-of-the-art结果.     

多源数据行人重识别研究综述

行人重识别是近年来计算机视觉领域的热点问题, 经过多年的发展, 基于可见光图像的一般行人重识别技术已经趋近成熟. 然而, 目前的研究多基于一个相对理想的假设, 即行人图像都是在光照充足的条件下拍摄的高分辨率图像. 因此虽然大多数的研究都能取得较为满意的效果, 但在实际环境中并不适用. 多源数据行人重识别即利用多种行人信息进行行人匹配的问题. 除了需要解决一般行人重识别所面临的问题外, 多源数据行人重识别技术还需要解决不同类型行人信息与一般行人图片相互匹配时的差异问题, 如低分辨率图像、红外图像、深度图像、文本信息和素描图像等. 因此, 与一般行人重识别方法相比, 多源数据行人重识别研究更具实用性, 同时也更具有挑战性. 本文首先介绍了一般行人重识别的发展现状和所面临的问题, 然后比较了多源数据行人重识别与一般行人重识别的区别, 并根据不同数据类型总结了5 类多源数据行人重识别问题, 分别从方法、数据集两个方面对现有工作做了归纳和分析. 与一般行人重识别技术相比, 多源数据行人重识别的优点是可以充分利用各类数据学习跨模态和类型的特征转换. 最后, 本文讨论了多源数据行人重识别未来的发展.     

基于注意力机制学习域内变化的跨域行人重识别方法

针对行人重识别任务跨域迁移时性能严重衰退的问题,提出了一种基于注意力机制学习域内变化的跨域行人重识别方法。首先,以ResNet50为基础架构并对其进行调整使其适合行人重识别任务,并引入实例-批归一化网络（IBN-Net）以提高模型的泛化能力,同时增加区域注意力分支以提取更具鉴别性的行人特征。对于源域的训练,将其作为分类任务,使用交叉熵损失进行源域的有监督学习,同时引入三元组损失来挖掘源域样本的细节,从而提高源域的分类性能。对于目标域的训练,通过学习域内变化来适应源域和目标域间的数据分布差异。在测试阶段,以ResNet50 pool-5层的输出作为图像特征,并计算查询图像与候选图像间的欧氏距离来度量两者的相似度。在两个大规模公共数据集Market-1501和DukeMTMC-reID上进行实验,所提方法的Rank-1准确率分别达到80.1%和67.7%,平均精度均值（mAP）分别为49.5%和44.2%。实验结果表明,所提方法在提高模型泛化能力方面性能较优。     

基于单标注样本的多损失学习与联合度量视频行人重识别

为解决行人重识别标注成本巨大的问题,提出了基于单标注样本的多损失学习与联合度量视频行人重识别方法.针对标签样本数量少,得到的模型不够鲁棒的问题,提出了多损失学习(MLL)策略:在每次训练过程中,针对不同的数据,采用不同的损失函数进行优化,提高模型的判别力.其次,在标签估计时,提出了一个联合距离度量(JDM),该度量将样...     

基于动态双注意力机制的跨模态行人重识别模型

针对跨模态行人重识别图像间模态差异大的问题,大多数现有方法采用像素对齐、特征对齐来实现图像间的匹配。为进一步提高两种模态图像间的匹配的精度,设计了一个基于动态双注意力机制的多输入双流网络模型。首先,在每个批次的训练中通过增加同一行人在不同相机下的图片,让神经网络在有限的样本中学习到充分的特征信息;其次,利用齐次增强得到灰度图像作为中间桥梁,在保留了可见光图像结构信息的同时消除了颜色信息,而灰度图像的运用弱化了网络对颜色信息的依赖,从而加强了网络模型挖掘结构信息的能力;最后,提出了适用于3个模态间图像的加权六向三元组排序（WSDR）损失,所提损失充分利用了不同视角下的跨模态三元组关系,优化了多个模态特征间的相对距离,并提高了对模态变化的鲁棒性。实验结果表明,在SYSU-MM01数据集上,与动态双注意聚合（DDAG）学习模型相比,所提模型在评价指标Rank-1和平均精确率均值（mAP）上分别提升了4.66和3.41个百分点。     

基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。