多特征融合与交替方向乘子法的行人再识别

目的 由于行人图像分辨率差异、光照差异、行人姿态差异以及摄像机视角和成像质量差异等原因,导致同一行人在不同监控视频中的外观区别很大,给行人再识别带来了巨大挑战。为提高行人再识别的准确率,针对以上问题,提出一种基于多特征融合与交替方向乘子法的行人再识别算法。方法 首先利用图像增强算法对所有行人图像进行处理,减少因光照变化产生的影响,然后把处理后的图像进行非均匀分割,同时使用特定区域均值法提取行人图像的HSV和LAB颜色特征以及SILTP（scale invariant local ternary pattern）纹理特征和HOG（histogram of oriented gradient）特征,融合多种特征得到行人图像对的整体与局部相似度度量函数并结合产生相似度函数,最后使用交替方向乘子优化算法更新出最优的测度矩阵实现行人再识别。结果 在VIPeR、CUHK01、CUHK03和GRID这4个数据集上进行实验,其中VIPeR、CUHK01和GRID 3个数据集Rank1（排名第1的搜索结果即为待查询人的比率）分别达到51.5%、48.7%和21.4%,CUHK03 手动裁剪和检测器检测数据集Rank1分别达到62.40%和55.05%,识别率有了显著提高,具有实际应用价值。结论 提出的多特征融合与交替方向乘子优化算法,能够很好地描述行人特征,迭代更新出来的测度矩阵能够很好地表达行人之间的距离信息,较大幅度地提高了识别率。该方法适用于大多数应用场景下的行人再识别。尤其是针对复杂场景下静态图像行人再识别问题,在存在局部遮挡、光照差异和姿态差异的情况下也能保持较高的识别正确率。     

区域块分割与融合的行人再识别

目的 由于摄像机视角和成像质量的差异,造成行人姿态变化、图像分辨率变化和光照变化等问题的出现,从而导致同一行人在不同监控视频中的外观区别很大,给行人再识别带来很大挑战。为提高行人再识别的识别率,针对行人姿态变化问题,提出一种区域块分割和融合的行人再识别算法。方法 首先根据人体结构分布,将行人图像划分为3个局部区域。然后根据各区域在识别过程中的作用不同,将GOG（Gaussian of Gaussian）特征、LOMO（local maximal occurrence）特征和KCCA（Kernel canonical correlation analysis）特征的不同组合作为各区域特征。接着通过距离测度算法学习对应区域之间的相似度,并通过干扰块剔除算法消除图像中出现的无效干扰块,融合有效区域块的相似度。最后将行人图像对的全局相似度和各局部区域相似度进行融合,实现行人再识别。结果 在4个基准数据集VIPeR、GRID、PRID450S和CUHK01上进行了大量实验,其中Rank1（排名第1的搜索结果即为待查询人的比例）分别为62.85%、30.56%、71.82%和79.03%,Rank5分别为86.17%、51.20%、91.16%和93.60%,识别率均有显著提高,具有实际应用价值。结论 提出的区域块分割和融合方法,能够去除图像中的无用信息和干扰信息,同时保留行人的有效信息并高效利用。该方法在一定程度上能够解决行人姿态变化带来的外观差异问题,大幅度地提升识别率。     

针对形变与遮挡问题的行人再识别

目的 姿态变化和遮挡导致行人表现出明显差异,给行人再识别带来了巨大挑战。针对以上问题,本文提出一种融合形变与遮挡机制的行人再识别算法。方法 为了模拟行人姿态的变化,在基础网络输出的特征图上采用卷积的形式为特征图的每个位置学习两个偏移量,偏移量包括水平和垂直两个方向,后续的卷积操作通过考虑每个位置的偏移量提取形变的特征,从而提高网络应对行人姿态改变时的能力;为了解决遮挡问题,本文通过擦除空间注意力高响应对应的特征区域而仅保留低响应特征区域,模拟行人遮挡样本,进一步改善网络应对遮挡样本的能力。在测试阶段,将两种方法提取的特征与基础网络特征级联,保证特征描述子的鲁棒性。结果 本文方法在行人再识别领域3个公开大尺度数据集Market-1501、DukeMTMC-reID和CUHK03（包括detected和labeled）上进行评估,首位命中率Rank-1分别达到89.52%、81.96%、48.79%和50.29%,平均精度均值（mean average precision,mAP）分别达到73.98%、64.45%、43.77%和45.58%。结论 本文提出的融合形变与遮挡机制的行人再识别算法可以学习到鉴别能力更强的行人再识别模型,从而提取更加具有区分性的行人特征,尤其是针对复杂场景,在发生行人姿态改变及遮挡时仍能保持较高的识别准确率。     

多分辨率特征注意力融合行人再识别

目的 行人再识别是实现跨摄像头识别同一行人的关键技术,面临外观、光照、姿态、背景等问题,其中区别行人个体差异的核心是行人整体和局部特征的表征。为了高效地表征行人,提出一种多分辨率特征注意力融合的行人再识别方法。方法 借助注意力机制,基于主干网络HRNet（high-resolution network）,通过交错卷积构建4个不同的分支来抽取多分辨率行人图像特征,既对行人不同粒度特征进行抽取,也对不同分支特征进行交互,对行人进行高效的特征表示。结果 在Market1501、CUHK03以及DukeMTMC-ReID这3个数据集上验证了所提方法的有效性,rank1分别达到95.3%、72.8%、90.5%,mAP（mean average precision）分别达到89.2%、70.4%、81.5%。在Market1501与DukeMTMC-ReID两个数据集上实验结果超越了当前最好表现。结论 本文方法着重提升网络提取特征的能力,得到强有力的特征表示,可用于行人再识别、图像分类和目标检测等与特征提取相关的计算机视觉任务,显著提升行人再识别的准确性。     

俯视深度头肩序列行人再识别

目的 行人再识别是指在一个或者多个相机拍摄的图像或视频中实现行人匹配的技术,广泛用于图像检索、智能安保等领域。按照相机种类和拍摄视角的不同,行人再识别算法可主要分为基于侧视角彩色相机的行人再识别算法和基于俯视角深度相机的行人再识别算法。在侧视角彩色相机场景中,行人身体的大部分表观信息可见;而在俯视角深度相机场景中,仅行人头部和肩部的结构信息可见。现有的多数算法主要针对侧视角彩色相机场景,只有少数算法可以直接应用于俯视角深度相机场景中,尤其是低分辨率场景,如公交车的车载飞行时间（time of flight,TOF）相机拍摄的视频。因此针对俯视角深度相机场景,本文提出了一种基于俯视深度头肩序列的行人再识别算法,以期提高低分辨率场景下的行人再识别精度。方法 对俯视深度头肩序列进行头部区域检测和卡尔曼滤波器跟踪,获取行人的头部图像序列,构建头部深度能量图组（head depth energy map group,HeDEMaG）,并据此提取深度特征、面积特征、投影特征、傅里叶描述子和方向梯度直方图（histogram of oriented gradient,HOG）特征。计算行人之间头部深度能量图组的各特征之间的相似度,再利用经过模型学习所获得的权重系数对各特征相似度进行加权融合,从而得到相似度总分,将最大相似度对应的行人标签作为识别结果,实现行人再识别。结果 本文算法在公开的室内单人场景TVPR （top view person re-identification）数据集、自建的室内多人场景TDPI-L （top-view depth based person identification for laboratory scenarios）数据集和公交车实际场景TDPI-B （top-view depth based person identification for bus scenarios）数据集上进行了测试,使用首位匹配率（rank-1）、前5位匹配率（rank-5）、宏F1值（macro-F1）、累计匹配曲线（cumulative match characteristic,CMC）和平均耗时等5个指标来衡量算法性能。其中,rank-1、rank-5和macro-F1分别达到61%、68%和67%以上,相比于典型算法至少提高了11%。结论 本文构建了表达行人结构与行为特征的头部深度能量图组,实现了适合低分辨率行人的多特征表达;提出了基于权重学习的相似度融合,提高了识别精度,在室内单人、室内多人和公交车实际场景数据集中均取得了较好的效果。     

多特征融合与独立测度学习的行人再识别

目的 由于行人图像受到光照、视角、遮挡和行人姿态等变化的影响,在视觉上容易形成很大的外观差异,对行人再识别造成干扰。为了提高行人再识别的准确性,针对以上问题,提出一种基于多特征融合与独立测度学习的行人再识别算法。方法 首先通过图像增强算法对原始图像进行处理,减少因光照变化产生的影响,然后对处理后的图像进行非均匀分割,同时提取行人图像的HSV、RGS、LAB和YCbCr 4种颜色特征和SILTP（scale invariant local ternary pattern）纹理特征,在基于独立距离测度学习方法下,融合行人的多种特征,学习得到行人图像对的相似度度量函数,最后将行人图像对的相似度进行加权匹配,实现行人再识别。结果 在VIPeR、iLIDS和CUHK01这3个数据集上进行实验,其中Rank1（排名第1的搜索结果即为待查询人的比率）分别达到42.7%、43.6%和43.7%,Rank5（排名前5的搜索结果中包含待查询人的比率）均超过70%,识别率有了显著提高,具有实际应用价值。结论 提出的多特征融合与独立测度学习的行人再识别算法,能够有效表达行人图像信息,且对环境变化具有较强的鲁棒性,有效提高了识别率。     

两路互补对称CNN结构的行人再识别

目的 行人再识别的任务是研究如何在海量监控数据中准确地识别出某个特定场合中曾经出现过的人,已成为公共安全领域中一项新的且具有挑战性的研究课题。其挑战在于,行人在图像中有较大的姿态、视角、光照等变化,这些复杂的变化会严重影响行人再识别性能。近年来,以卷积神经网络（CNN）为代表的深度学习方法在计算机视觉领域取得了巨大的成功,也带动了行人再识别领域的相关研究。CNN有效地克服了行人变化,取得较高的准确率。然而,由于行人再识别数据集中行人标注量小,利用现有的一路CNN模型,其训练过程并不够充分,影响了深度学习模型的鉴别能力。为了解决上述问题,通过对网络结构进行改进,提出一种两路互补对称的CNN结构用于行人再识别任务。方法 本文方法每次同时输入两路样本,其中每路样本之间具有互补特性,此时在有限的训练样本下,输入的组合会更加多样化,CNN模型的训练过程更加丰富。结果 对本文提出的方法在两个公开的大规模数据集（Market-1501和DukeMTMC-reID）上进行实验评估,相比于基线方法有稳定的提升,相比于现存的其他一些方法,其结果也有竞争力。在Market-1501数据集上,1选识别正确率和平均精度均值分别达到了73.25%和48.44%。在DukeMTMC-reID数据集上,1选识别正确率和平均精度均值分别达到了63.02%和41.15%。结论 本文提出的两路互补对称CNN结构的行人再识别方法,能够在现有的有限训练样本下,更加充分地训练CNN模型,学习得到鉴别能力更强的深度学习模型,从而有效地提升行人再识别的性能。     

面向智能监控的行为识别

目的 为了进一步提高智能监控场景下行为识别的准确率和时间效率,提出了一种基于YOLO（you only look once：unified,real-time object detection）并结合LSTM（long short-term memory）和CNN（convolutional neural network）的人体行为识别算法LC-YOLO（LSTM and CNN based on YOLO）。方法 利用YOLO目标检测的实时性,首先对监控视频中的特定行为进行即时检测,获取目标大小、位置等信息后进行深度特征提取;然后,去除图像中无关区域的噪声数据;最后,结合LSTM建模处理时间序列,对监控视频中的行为动作序列做出最终的行为判别。结果 在公开行为识别数据集KTH和MSR中的实验表明,各行为平均识别率达到了96.6%,平均识别速度达到215 ms,本文方法在智能监控的行为识别上具有较好效果。结论 提出了一种行为识别算法,实验结果表明算法有效提高了行为识别的实时性和准确率,在实时性要求较高和场景复杂的智能监控中有较好的适应性和广泛的应用前景。     

用于行人轨迹预测的场景限制时空图卷积网络

目的 针对行人轨迹预测问题,已有的几种结合场景信息的方法基于合并操作通过神经网络隐式学习场景与行人运动的关联,无法直观地解释场景对单个行人运动的调节作用。除此之外,基于图注意力机制的时空图神经网络旨在学习全局模式下行人之间的社会交互,在人群拥挤场景下精度不佳。鉴于此,本文提出一种场景限制时空图卷积神经网络（scene-constrained spatial-temporal graph convolutional neural network,Scene-STGCNN）。方法 Scene-STGCNN由运动模块、基于场景的微调模块、时空卷积和时空外推卷积组成。运动模块以时空图卷积提取局部行人时空特征,避免了时空图神经网络在全局模式下学习交互的局限性。基于场景的微调模块将场景信息嵌入为掩模矩阵,用来调节运动模块生成的中间运动特征,具备实际场景下的物理解释性。通过最小化核密度估计下真实轨迹的负对数似然,增强Scene-STGCNN输出的多模态性,减少预测误差。结果 实验在公开数据集ETH （包含ETH和HOTEL）和UCY （包含UNIV、ZARA1和ZARA2）上与其他7种主流方法进行比较,就平均值而言,相对于性能第2的模型,平均位移误差（average displacement error,ADE）值减少了12%,最终位移误差（final displacement error,FDE）值减少了9%。在同样的数据集上进行了消融实验以验证基于场景的微调模块的有效性,结果表明基于场景的微调模块能有效建模场景对行人轨迹的调节作用,从而减小算法的预测误差。结论 本文提出的场景限制时空图卷积网络能有效融合场景和行人运动,在学习局部模式下行人交互的同时基于场景特征对轨迹特征做实时性调节,相比于其他主流方法,具有更优的性能。     

时域模型对视频行人重识别性能影响的研究

行人重识别是计算机视觉领域一个重要的研究方向。近年来,随着视频监控需求的日益增长,基于视频序列的行人重识别研究受到了广泛的关注。典型的视频序列行人重识别系统由三部分构成：图片特征提取器（例如卷积神经网络）、提取时域信息的时域模型、损失函数。在固定特征提取器和损失函数的前提下,研究不同时域模型对视频行人重识别算法性能的影响,包括时域池化、时域注意力、循环神经网络。在Mars数据集上的实验结果表明：与基于图像的行人重识别基准算法相比,采用时域池化模型、时间注意力模型可以有效改善识别精度,但采用循环神经网络后识别效果比基准算法有所下降。     

融合生成对抗网络和姿态估计的视频行人再识别方法

随着国家对社会公共安全的日益重视,无重叠视域监控系统已大规模的普及.行人再识别任务通过匹配不同视域摄像机下的行人目标,在当今环境下显得尤为重要.由于深度学习依赖大数据解决过拟合的特性,针对当前视频行人再识别数据量较小和学习特征单一的问题,我们提出了一种基于视频的改进行人再识别方法,该方法通过生成对抗网络去生成视频帧序列来增加样本数量和加入了行人关节点的特征信息去提升模型效率.实验结果表明,本文提出的改进方法可以有效地提高公开数据集的识别率,在PRID2011,iLIDS-VID数据集上进行实验,Rank 1分别达到了80.2%和66.3%.     

Person re-identification by the asymmetric triplet and identification loss function

Person re-identification(re-id) aims to match the same individuals across different non-overlapping camera views. In this paper, we analyze the effectiveness of two widely used triplet loss and softmax loss on person re-id task. We conclude that the triplet loss function is suitable for the relatively small datasets with the shallow neural network, while the softmax loss works better on larger datasts with relatively deeper network architecture. Both of them are essential to the person re-id task. Moreover, we present a convolutional neural network (CNN) model under the joint supervision of the triplet loss and softmax loss for person re-id. This method can get a slightly better performance than either of them. The triplet loss makes the distance of the same individual’s images closer, and pushes the instances of different individuals far apart from each other, which can effectively reduce the intra-personal variations. Meanwhile, the person identification cost, which is implemented by the softmax loss with the “center loss” embedded, can discriminatively learn some identity-related feature representations (i.e. features with large inter-personal variations). Extensive experimental results demonstrate the effectiveness of our proposed method, and we have obtained promising performance on the challenging i-LIDS, PRID2011 and CUHK03 datasets.

     

Random linear interpolation data augmentation for person re-identification

Person Re-Identification (person re-ID) is an image retrieval task which identifies the same person in different camera views. Generally, a good person re-ID model requires a large dataset containing over 100000 images to reduce the risk of over-fitting. Most current handcrafted person re-ID datasets, however, are insufficient for training a learning model with high generalization ability. In addition, the lacking of images with various levels of occlusion is still remaining in most existing datasets. Motivated by these two problems, this paper proposes a new data augmentation method called Random Linear Interpolation that can enlarge the sizes of person re-ID datasets and improve the generalization ability of the learning model. The key enabler of our approach is generating fused images by interpolating pairs of original images. In other words, the innovation of the proposed approach is considering data augmentation between two random samples. Plenty of experimental results demonstrates that the proposed method is effective to improve baseline models. On Market1501 and DukeMTMC-reID datasets, our approach can achieve 92.71% and 82.19% rank-1 accuracy, respectively.

     

行人再识别技术研究进展

行人再识别通过大时空范围内跨摄像机目标行人图像的检索与匹配,可实现人脸等生物特征失效情况下的行人关联,已成为智能视频监控系统的关键环节和支撑技术,并在智慧公安、智慧城市等国民经济建设中发挥了重要作用。近年行人再识别技术吸引了越来越多的关注,并取得了快速发展与进步。本文在对行人再识别技术进行简介的基础上,面向行人再识别的技术发展和落地应用需求与挑战,总结分析遮挡行人再识别、无监督行人再识别、虚拟数据生成、域泛化行人再识别、换装行人再识别、跨模态行人再识别和行人搜索等热点方向的前沿进展,归纳其发展现状和存在问题,最后对行人再识别技术的发展趋势进行展望。希望通过总结和分析,能够为研究人员开展行人再识别相关研究、推动行人再识别技术进步提供参考。     

多特征融合的行为识别模型

目的 视频行为识别和理解是智能监控、人机交互和虚拟现实等诸多应用中的一项基础技术,由于视频时空结构的复杂性,以及视频内容的多样性,当前行为识别仍面临如何高效提取视频的时域表示、如何高效提取视频特征并在时间轴上建模的难点问题。针对这些难点,提出了一种多特征融合的行为识别模型。方法 首先,提取视频中高频信息和低频信息,采用本文提出的两帧融合算法和三帧融合算法压缩原始数据,保留原始视频绝大多数信息,增强原始数据集,更好地表达原始行为信息。其次,设计双路特征提取网络,一路将融合数据正向输入网络提取细节特征,另一路将融合数据逆向输入网络提取整体特征,接着将两路特征加权融合,每一路特征提取网络均使用通用视频描述符——3D ConvNets （3D convolutional neural networks）结构。然后,采用BiConvLSTM （bidirectional convolutional long short-term memory network）网络对融合特征进一步提取局部信息并在时间轴上建模,解决视频序列中某些行为间隔相对较长的问题。最后,利用Softmax最大化似然函数分类行为动作。结果 为了验证本文算法的有效性,在公开的行为识别数据集UCF101和HMDB51上,采用5折交叉验证的方式进行整体测试与分析,然后针对每类行为动作进行比较统计。结果表明,本文算法在两个验证集上的平均准确率分别为96.47%和80.03%。结论 通过与目前主流行为识别模型比较,本文提出的多特征模型获得了最高的识别精度,具有通用、紧凑、简单和高效的特点。     

基于非局部关注和多重特征融合的视频行人重识别

现有视频行人重识别方法无法有效地提取视频连续帧之间的时空信息,因此提出一种基于非局部关注和多重特征融合的行人重识别网络来提取全局与局部表征特征和时序信息。首先嵌入非局部关注模块来提取全局特征;然后通过提取网络的低中层特征和局部特征实现多重特征融合,从而获得行人的显著特征;最后将行人特征进行相似性度量并排序,计算出视频行人重识别的精度。在大数据集MARS和DukeMTMC-VideoReID上进行实现,结果显示所提出的模型较现有的多尺度三维卷积（M3D）和学习片段相似度聚合（LCSA）模型的性能均有明显提升,平均精度均值（mAP）分别达到了81.4%和93.4%,Rank-1分别达到了88.7%和95.3%;同时在小数据集PRID2011上,所提模型的Rank-1也达到94.8%。     

基于时空关注区域的视频行人重识别

在执行视频行人重识别任务时,传统基于局部的方法主要集中于具有特定预定义语义的区域学习局部特征表示,在复杂场景下的学习效率和鲁棒性较差。通过结合全局特征和局部特征提出一种基于时空关注区域的视频行人重识别方法。将跨帧聚合的关注区域特征与全局特征进行融合得到视频级特征表示,利用快慢网络中的两个路径分别提取全局特征和关注区域特征。在快路径中,利用多重空间关注模型提取关注区域特征,利用时间聚合模型聚合所有采样帧相同部位的关注区域特征。在慢路径中,利用卷积神经网络提取全局特征。在此基础上,使用亲和度矩阵和定位参数融合关注区域特征和全局特征。以平均欧氏距离评估融合损失,并将三重损失函数用于端到端网络训练。实验结果表明,该方法在PRID 2011数据集上Rank-1准确率达到93.4%,在MARS数据集上mAP达到79.5%,识别性能优于SeeForst、ASTPN、RQEN等方法,并且对光照、行人姿态变化和遮挡具有很好的鲁棒性。     

基于多尺度特征表示的行人再识别

应用于复杂场景下的行人再识别方法,常采用结合全局特征和局部特征的行人表示策略来提升模型的判别能力.但是,提取局部特征往往需要针对特定的语义区域设计专门的模型,增加了算法的复杂性.为解决上述问题,提出一种基于多尺度特征表示的行人再识别模型.该模型通过对不同细粒度局部特征与全局特征的联合表示,得到多层次具有互补性的判别信息,端对端地完成行人再识别任务.为了在获取高区分度信息的同时保留更多的细节信息,采用最大池化加平均池化的方式对特征进行下采样;此外,通过引入TriHard loss约束全局特征并采用随机擦除方法增强数据来进一步提升模型对复杂场景的适应性.在Market-1501和DukeMTMC-reID数据集上进行对比实验,实验结果表明,rank-1的准确率分别达到94.9%和87.1%,从而验证了所提出方法的有效性.     

基于块稀疏表示的行人重识别方法

针对非重叠视角下的行人重识别和高维特征提取等问题,提出基于块稀疏表示的行人重识别方法。采取典型相关分析（CCA）方法进行特征投影变换,通过提高特征匹配能力来避免高维特征运算引起的维数灾难问题,并在CCA转换后的投影空间使投影后查询集行人特征向量与相应的数据集特征向量近似成线性关系;利用行人数据集的块结构特征构建行人重识别模型,采用交替方向框架求解优化问题;最后对查询集中要识别的行人采用残差项处理,并将最小残差项所对应的指标作为最终识别的行人记号。在公开数据集PRID 2011、iLIDS-VID和VIPeR上进行多次实验,结果显示所提方法的Rank1性能在三个数据集上分别达到40.4%、38.11%和23.68%,明显高于大间隔最近邻分类（LMNN）等算法,其在Rank-1上的匹配率也远大于LMNN算法;其总体性能也优于经典的基于特征表示与度量学习的算法。实验结果验证了所提方法在行人重识别上的有效性。