基于时空正则化的视频序列中行人的再识别

由于现实复杂情况中各种因素的干扰,行人再识别的过程中可能出现识别错误等问题。为了提高行人再识别的准确性,提出了一种基于时空正则化的行人再识别算法。首先,利用ResNet-50网络对输入的视频序列逐帧进行特征提取,将一系列帧级特征输入到时空正则化网络并产生对应的权重分数;然后,对帧级特征使用加权平均得到视频序列级特征,为避免权重分数聚集在一帧,使用帧级正则化来限制帧间差异;最后,通过最小化损失得到最优结果。在DukeMTMC-ReID和MARS数据集中做了大量的测试,实验结果表明,所提方法与Triplet算法相比能够有效提高行人再识别的平均精度（mAP）和准确率,并且对于人体姿势变化、视角变化和相似外观目标的干扰具有出色的性能表现。     

行人再识别技术研究进展

行人再识别通过大时空范围内跨摄像机目标行人图像的检索与匹配,可实现人脸等生物特征失效情况下的行人关联,已成为智能视频监控系统的关键环节和支撑技术,并在智慧公安、智慧城市等国民经济建设中发挥了重要作用。近年行人再识别技术吸引了越来越多的关注,并取得了快速发展与进步。本文在对行人再识别技术进行简介的基础上,面向行人再识别的技术发展和落地应用需求与挑战,总结分析遮挡行人再识别、无监督行人再识别、虚拟数据生成、域泛化行人再识别、换装行人再识别、跨模态行人再识别和行人搜索等热点方向的前沿进展,归纳其发展现状和存在问题,最后对行人再识别技术的发展趋势进行展望。希望通过总结和分析,能够为研究人员开展行人再识别相关研究、推动行人再识别技术进步提供参考。     

判别性信息增强的行人再识别

在行人再识别中,由相机风格及视角变化造成的行人外观差异严重影响了模型的性能.为缓解该现象,提出一种判别性信息增强的行人再识别方法.该方法由辅助子网络、主干子网络以及时空信息嵌入三部分构成.首先,在辅助子网络中实现不同视角行人图像的风格转换以减少风格差异对性能的影响.为增强特征的判别性,将原图特征和迁移图像特征进行拼接.此外,在主干子网络中通过局部特征迫使主干子网络在关注全局特征的同时,能更多利用局部具有鉴别性的信息.最后,引入行人的时空信息来缓解难样本对识别性能造成的影响.通过实验证明所提算法性能优于大部分主流方法,消融实验也验证了所提算法的有效性.     

基于多源信息的行人再识别研究综述

随着计算机视觉技术的不断发展,行人再识别技术在安防、侦查和智能监控等领域发挥了巨大的作用,成为了当下的研究热点。传统的行人再识别技术聚焦于摄像机采集到的可见光图像这一视觉信息的研究,并且在实验室条件下已经达到了较好的效果,但在光照情况差、目标遮挡、画质模糊等不利条件下,算法的识别率出现了断崖式的下降。如今视觉信息不单单再聚焦于可见光图像,而是引入了红外图像、深度图像、素描人像等信息用以提高算法的识别率。与此同时,文本信息和时空信息的应用同样也提升了行人再识别算法的性能。但由于各个模态间存在天然差异,如何连接多种信息成了多源信息行人再识别研究的主要问题。对近年公开发表的多源信息行人再识别研究论文的梳理,阐述了行人再识别的研究现状、技术困难以及未来的发展趋势。     

行人再识别技术综述

行人再识别指的是判断不同摄像头下出现的行人是否属于同一行人, 可以看作是图像检索的子问题, 可以广泛应用于智能视频监控、安保、刑侦等领域.由于行人图像的分辨率变化大、拍摄角度不统一、光照条件差、环境变化大、行人姿态不断变化等原因, 使得行人再识别成为目前计算机视觉领域一个既具有研究价值又极具挑战性的研究热点和难点问题.早期的行人再识别方法大多基于人工设计特征, 在小规模数据集上开展研究.近年来, 大规模行人再识别数据集不断推出, 以及深度学习技术的迅猛发展, 为行人再识别技术的发展带来了新的契机.本文对行人再识别的发展历史、研究现状以及典型方法进行梳理和总结.首先阐述了行人再识别的基本研究框架, 然后分别针对行人再识别的两个关键技术(特征表达和相似性度量), 进行了归纳总结, 重点介绍了目前发展迅猛的深度学习技术在行人再识别中的应用.另外, 本文对行人再识别中代表性的数据集以及在各个数据集上可以取得优异性能的方法进行了分析和比较.最后对行人再识别技术的未来发展趋势进行了展望.     

ReID2.0：从行人再识别走向人像态势计算

行人再识别（person re-identification,Person ReID）指利用计算机视觉技术对在一个摄像头的视频图像中出现的某个确定行人在其他时间、不同位置的摄像头中再次出现时能够辨识出来,或在图像或视频库中检索特定行人。行人再识别研究具有强烈的实际需求,在公共安全、新零售以及人机交互领域具有潜在应用,具备显著的机器学习和计算机视觉领域的理论研究价值。行人成像存在复杂的姿态、视角、光照和成像质量等变化,同时也有一定范围的遮挡等难点,因此行人再识别面临着非常大的技术挑战。近年来,学术界和产业界投入了巨大的人力和资源研究该问题,并取得了一定进展,在多个数据集上的平均准确率均值（mean average precision,mAP）有了较大提升,并部分开始实际应用。尽管如此,当前行人再识别研究主要还是侧重于服装表观的特征,缺乏对行人表观显式的多视角观测和描述,这与人类观测的机理不尽相符。本文旨在打破现有行人再识别任务的设定,形成对行人综合性观测描述。为推进行人再识别研究的进展,本文在前期行人再识别研究的基础上提出了人像态势计算的概念（ReID2.0）。人像态势计算以像态、形态、...     

融合生成对抗网络和姿态估计的视频行人再识别方法

随着国家对社会公共安全的日益重视,无重叠视域监控系统已大规模的普及.行人再识别任务通过匹配不同视域摄像机下的行人目标,在当今环境下显得尤为重要.由于深度学习依赖大数据解决过拟合的特性,针对当前视频行人再识别数据量较小和学习特征单一的问题,我们提出了一种基于视频的改进行人再识别方法,该方法通过生成对抗网络去生成视频帧序列来增加样本数量和加入了行人关节点的特征信息去提升模型效率.实验结果表明,本文提出的改进方法可以有效地提高公开数据集的识别率,在PRID2011,iLIDS-VID数据集上进行实验,Rank 1分别达到了80.2%和66.3%.     

基于时空模型视频监控的行人活动预测算法

在现代监控和视频检索系统中,跨摄像头行人跟踪问题仍然是个挑战,其原因是行人再识别时庞大的搜索空间,特别是当有大量的摄像头和行人的时候。针对跨摄像头行人再匹配计算量大,耗时久等问题,提出一种融合样本数理统计和混合高斯分布的时空关系模型。该模型可以有效地预测行人活动,即当一个行人从一个摄像头可视区域离开时,我们能够预测该行人下一次直接进入摄像头可视区域的时间和所在的出入点位置。根据预测的结果,极大地减少了行人再识别的匹配范围,从而提高匹配识别的准确率,再依赖行人的表现模型和轨迹进行行人再识别,最终实现跨摄像头行人持续跟踪的目的。实验结果表明了模型的表现与实际情况比较接近。     

多源数据行人重识别研究综述

行人重识别是近年来计算机视觉领域的热点问题, 经过多年的发展, 基于可见光图像的一般行人重识别技术已经趋近成熟. 然而, 目前的研究多基于一个相对理想的假设, 即行人图像都是在光照充足的条件下拍摄的高分辨率图像. 因此虽然大多数的研究都能取得较为满意的效果, 但在实际环境中并不适用. 多源数据行人重识别即利用多种行人信息进行行人匹配的问题. 除了需要解决一般行人重识别所面临的问题外, 多源数据行人重识别技术还需要解决不同类型行人信息与一般行人图片相互匹配时的差异问题, 如低分辨率图像、红外图像、深度图像、文本信息和素描图像等. 因此, 与一般行人重识别方法相比, 多源数据行人重识别研究更具实用性, 同时也更具有挑战性. 本文首先介绍了一般行人重识别的发展现状和所面临的问题, 然后比较了多源数据行人重识别与一般行人重识别的区别, 并根据不同数据类型总结了5 类多源数据行人重识别问题, 分别从方法、数据集两个方面对现有工作做了归纳和分析. 与一般行人重识别技术相比, 多源数据行人重识别的优点是可以充分利用各类数据学习跨模态和类型的特征转换. 最后, 本文讨论了多源数据行人重识别未来的发展.     

基于可变形掩膜对齐卷积模型的行人再识别

行人再识别是计算机视觉领域的一个重要研究方向,在视频监控等非常广阔的领域有极其重要的应用前景。行人再识别研究中遇到的一个重要挑战就是行人图像对齐问题。利用全卷积模型和全局平均池化操作,提出了一种新的可变形掩膜对齐的深度卷积神经网络模型,它不仅可以解决行人图像对齐问题,而且实现了行人图像的多信息融合。该方法在Market-1501和DukeMTMC-reID两大数据集上进行了验证,整体准确率得到了很大提高。     

基于稀疏学习的行人重识别算法

行人重识别问题是计算机视觉的重要研究内容之一,旨在将多个非重叠相机中的目标行人准确加以识别。当将某摄像机中的行人图像视为目标行人在该摄像机视图上的一种表示时,行人重识别可被认为是一种多视图学习问题。在此基础上提出的基于典型相关分析的行人重识别算法仅是一种线性降维算法,很难从复杂的重识别系统（如目标行人图像受低分辨率、光照及行人姿态变化等因素影响）中提取有效的高层语义信息,用于行人重识别。为此,本文提出了一种基于稀疏学习的行人重识别算法（Sparsity learning based person re-identification,SLR）。SLR首先通过稀疏学习获取目标行人在每一相机视图上的高层语义表示,然后将高层特征映射到一个公共的隐空间,使不同视图间的特征距离可比较。SLR算法的优点在于通过学习鲁棒的行人图像特征表示,能够获得更具判别性的公共隐空间,以提高算法的行人重识别性能。在VIPeR、CUHK数据集上的实验结果表明了本文算法的有效性。     

融合属性特征的行人重识别方法

行人重识别旨在跨监控设备下检索出特定的行人目标.由于不同的行人可能具有相似的外观,因此要求行人重识别模型能够捕捉到充足的细粒度特征.本文提出一种融合属性特征的行人重识别的深度网络方法,将行人重识别和属性识别集成在分类网络中,进行端到端的多任务学习.此外,对于每张输入图片,网络自适应地生成对应于每个属性的权重,并将所有属性的特征以加权求和的方式结合起来,与全局特征一起用于行人重识别任务.全局特征关注行人的整体外观,而属性特征关注细节区域,两者相互补充可以对行人进行更全面的描述.在行人重识别的主流数据集DukeMTMC-reID和Market-1501上的实验结果表明了本文方法的有效性,平均精度均值(Mean average precision,mAP)分别达到了74.2%和83.5%,Rank-1值分别达到了87.1%和93.6%.此外,在这两个数据集上的属性识别也得到了比较好的结果.     

融合属性特征的行人重识别方法

行人重识别旨在跨监控设备下检索出特定的行人目标.由于不同的行人可能具有相似的外观,因此要求行人重识别模型能够捕捉到充足的细粒度特征.本文提出一种融合属性特征的行人重识别的深度网络方法,将行人重识别和属性识别集成在分类网络中,进行端到端的多任务学习.此外,对于每张输入图片,网络自适应地生成对应于每个属性的权重,并将所有属性的特征以加权求和的方式结合起来,与全局特征一起用于行人重识别任务.全局特征关注行人的整体外观,而属性特征关注细节区域,两者相互补充可以对行人进行更全面的描述.在行人重识别的主流数据集DukeMTMC-reID和Market-1501上的实验结果表明了本文方法的有效性,平均精度均值(Mean average precision,mAP)分别达到了74.2%和83.5%,Rank-1值分别达到了87.1%和93.6%.此外,在这两个数据集上的属性识别也得到了比较好的结果.     

基于特征定位与融合的行人重识别算法

行人外观属性是区分行人差异的重要语义信息。行人属性识别在智能视频监控中有着至关重要的作用,可以帮助我们对目标行人进行快速的筛选和检索。在行人重识别任务中,可以利用属性信息得到精细的特征表达,从而提升行人重识别的效果。文中尝试将行人属性识别与行人重识别相结合,寻找一种提高行人重识别性能的方法,进而提出了一种基于特征定位与融合的行人重识别框架。首先,利用多任务学习的方法将行人重识别与属性识别结合,通过修改卷积步长和使用双池化来提升网络模型的性能。其次,为了提高属性特征的表达能力,设计了基于注意力机制的平行空间通道注意力模块,它不仅可以在特征图上定位属性的空间位置,而且还可以有效地挖掘与属性关联度较高的通道特征,同时采用多组平行分支结构减小误差,进一步提高网络模型的性能。最后,利用卷积神经网络设计特征融合模块,将属性特征与行人身份特征进行有效融合,以获得更具鲁棒性和表达力的行人特征。实验在两个常用的行人重识别数据集DukeMTMC-reID和Market-1501上进行,结果表明,所提方法在现有的行人重识别方法中处于领先水平。     

两路互补对称CNN结构的行人再识别

目的 行人再识别的任务是研究如何在海量监控数据中准确地识别出某个特定场合中曾经出现过的人,已成为公共安全领域中一项新的且具有挑战性的研究课题。其挑战在于,行人在图像中有较大的姿态、视角、光照等变化,这些复杂的变化会严重影响行人再识别性能。近年来,以卷积神经网络（CNN）为代表的深度学习方法在计算机视觉领域取得了巨大的成功,也带动了行人再识别领域的相关研究。CNN有效地克服了行人变化,取得较高的准确率。然而,由于行人再识别数据集中行人标注量小,利用现有的一路CNN模型,其训练过程并不够充分,影响了深度学习模型的鉴别能力。为了解决上述问题,通过对网络结构进行改进,提出一种两路互补对称的CNN结构用于行人再识别任务。方法 本文方法每次同时输入两路样本,其中每路样本之间具有互补特性,此时在有限的训练样本下,输入的组合会更加多样化,CNN模型的训练过程更加丰富。结果 对本文提出的方法在两个公开的大规模数据集（Market-1501和DukeMTMC-reID）上进行实验评估,相比于基线方法有稳定的提升,相比于现存的其他一些方法,其结果也有竞争力。在Market-1501数据集上,1选识别正确率和平均精度均值分别达到了73.25%和48.44%。在DukeMTMC-reID数据集上,1选识别正确率和平均精度均值分别达到了63.02%和41.15%。结论 本文提出的两路互补对称CNN结构的行人再识别方法,能够在现有的有限训练样本下,更加充分地训练CNN模型,学习得到鉴别能力更强的深度学习模型,从而有效地提升行人再识别的性能。     

一种特征增强的Tri-CNN行人再识别方法

针对行人再识别中遮挡导致提取的高层特征分辨率低而影响识别率的问题,建立一种基于Tri-CNN的特征增强行人再识别方法。首先,对池化层提取的图像特征进行PCA降维,根据典型相关分析策略(CCA)融合特征,提取更具判别力的行人特征。其次,引入空间递归模型(SRM)对遮挡行人特征进行空间多向检测,提高对遮挡行人的识别率。最后,根据欧氏距离度量准则,分别验证正、负样本对间的距离,联合Softmax损失函数和Triplet损失函数优化网络模型,进而判别是否为同一行人。在MARS和ETHZ这2个数据集上进行实验,结果表明本文方法有效解决了一般遮挡识别问题,并显著提高了行人再识别精度。     

基于注意力机制的行人重识别特征提取方法

针对真实环境中非重叠多摄像头的行人重识别受到不同摄像机场景、视角、光照等因素的影响导致行人重识别精度低的问题,提出一种基于注意力机制的行人重识别特征提取方法。首先,使用随机擦除法对输入的行人图像进行数据增强,提高网络的鲁棒性;然后,通过构建自上而下的注意力机制网络增强空间像素特征的显著性,并将注意力机制网络嵌入ResNet50网络提取整个行人的显著特征;最后,将整个行人的显著特征进行相似性度量并排序得到行人重识别的结果。该注意力机制的行人重识别特征提取方法在Market1501数据集上Rank1达到88.53%,平均精度均值（mAP）为70.70%;在DukeMTMC-reID数据集上Rank1达到77.33%,mAP为59.47%。所提方法在两大行人重识别数据集上性能都有明显提升,具有一定的应用价值。     

基于特征融合及差异矩阵的行人再识别

针对行人目标在不同摄像机下外观显著性变化的问题,提出一种基于特征融合及差异矩阵的行人再识别算法。串联融合显著颜色名描述符(SCNCD)和微调的卷积神经网络(FTCNN)特征来描述行人图像,采用K-means算法获取包含典型行人图像的参考集以优化目标与参考身份相对应的重建关系,运用差异矩阵度量(DMMM)算法进行度量学习。在VIPeR和PRID450s行人再识别数据集上的实验结果表明,所提行人再识别算法具有良好的匹配率和有效性。     

Combined salience based person re-identification

Human eye perceives an object as the entity with global information and local information. Human salience is distinctive local information in matching pedestrians across disjoint camera views, and matching on overall foreground guarantees reliable and robust identification. In this paper, we propose a strategy for the matching of mean salience to identify pedestrians. Also, we consider that person re-identification based on the local single directional matching suffers from the variations of pose, illumination and overlapping, and propose a global bi-directional matching to solve the challenging problems of person re-identification. Furthermore, our matching of mean salience is tightly combined with the global bi-directional matching. Patch matching is utilized to handle the misalignment problem in pedestrian images. We test our feature and matching approaches in person re-identification scenario. Experimental results demonstrate that the mean salience and the global bi-directional matching have promising discriminative capability in comparison with other ones.     

基于全局特征改进的行人重识别

由于行人重识别面临姿态变化、遮挡干扰、光照差异等挑战, 因此提取判别力强的行人特征至关重要. 本文提出一种在全局特征基础上进行改进的行人重识别方法, 首先, 设计多重感受野融合模块充分获取行人上下文信息, 提升全局特征辨别力; 其次, 采用GeM池化获取细粒度特征; 最后, 构建多分支网络, 融合网络不同深度的特征预测行人身份. 本文方法在Market1501和DukeMTMC-ReID两大数据集上的mAP指标分别达到83.8%和74.9%. 实验结果表明, 本文方法有效改进了基于全局特征的模型, 提升了行人重识别的识别准确率.