联合损失优化孪生网络的行人重识别

针对行人重识别应用中行人图像易受到光照、相似着装、拍摄角度影响而出现难分样本对,导致错误匹配的问题,提出一种联合损失结合孪生网络的行人重识别优化算法。首先利用残差卷积神经网络提取图像特征,并以焦点损失（Focal Loss）和交叉熵损失的联合损失对提取的特征进行监督训练,增加模型对难分样本对的关注度;然后采用余弦距离计算图像间的相似度实现行人的重识别;最后加入重排序算法降低误匹配率。采用Market-1501和DukeMTMC-reID数据集进行实验,结果表明,该算法的匹配率分别为91.2%和84.4%,平均精度均值（mAP）分别为85.8%和78.6%。     

一种特征增强的Tri-CNN行人再识别方法

针对行人再识别中遮挡导致提取的高层特征分辨率低而影响识别率的问题,建立一种基于Tri-CNN的特征增强行人再识别方法。首先,对池化层提取的图像特征进行PCA降维,根据典型相关分析策略(CCA)融合特征,提取更具判别力的行人特征。其次,引入空间递归模型(SRM)对遮挡行人特征进行空间多向检测,提高对遮挡行人的识别率。最后,根据欧氏距离度量准则,分别验证正、负样本对间的距离,联合Softmax损失函数和Triplet损失函数优化网络模型,进而判别是否为同一行人。在MARS和ETHZ这2个数据集上进行实验,结果表明本文方法有效解决了一般遮挡识别问题,并显著提高了行人再识别精度。     

基于CNN的改进行人重识别技术

针对行人重识别研究中训练样本的不足,为提高识别精度及泛化能力,提出一种基于卷积神经网络的改进行人重识别方法。首先对训练数据集进行扩充,使用生成对抗网络无监督学习方法生成无标签图像;然后与原数据集联合作半监督卷积神经网络训练,通过构建一个Siamese网络,结合分类模型和验证模型的特点进行训练;最后加入无标签图像类别分布方法,计算交叉熵损失来进行相似度量。实验结果表明,在Market-1501、CUHK03和DukeMTMC-reID数据集上,该方法相比原有的Siamese方法在Rank-1和mAP等性能指标上有近3～5个百分点的提升。当样本较少时,该方法具有一定应用价值。     

多置信度重排序的行人再识别算法*

针对行人再识别中相似性度量误差引起的识别效果较差的问题,提出多置信度重排序的行人再识别算法,通过对再排序过程中测试样本的置信度进行评估,提高行人再识别的准确性.首先对目标样本及测试样本依据深度学习网络ResNet50获得描述特征.然后对目标样本与测试样本之间的相似性进行初始排序,对相似排序得到的样本构建相似样本集合,获得每个类别的聚类中心和样本距离聚类中心的最小、最大、均值距离,设置3个置信度不同的置信区间.最后使用Jaccard距离对目标样本与测试样本的相似度进行重排序.在标准测试数据集上的实验表明文中算法的有效性.     

基于融合特征的行人再识别方法*

行人再识别过程中,由于姿势和光照等因素的变化使不同相机中所得行人的外形具有明显变化,较难提取不变性特征,导致识别率偏低.鉴于此种情况,文中提出基于融合特征的行人再识别方法,提取的特征包括HSV颜色特征、颜色直方图特征及梯度方向直方图特征,行人再识别过程分为训练阶段和识别阶段.在训练阶段,首先对训练图像集中每幅图像进行特征提取,然后利用典型相关分析获得2部相机拍摄同一行人的图像特征之间的相关性,生成相关性矩阵.在识别阶段,首先对参考图像集和测试图像集中每幅图像进行特征提取,然后将各自特征向量利用相关性矩阵进行变换,最后进行相似度度量,得到识别结果.在3个图像库上的实验表明,文中方法可以提高行人再识别的识别率.     

行人再识别系统中无感噪声攻击的防御方法

深度学习在行人再识别任务上的应用已经取得了较大进步。然而,由于深度神经网络的鲁棒性容易受到对抗样本的攻击,深度学习在行人再识别模型应用中暴露出来一些安全问题。针对该问题,提出一种无感噪声攻击的防御方法DSN。首先,利用RGB图像的灰度补丁图像,使其在训练过程中增强数据,从而提升行人再识别模型的识别能力。其次,采用模型内外结合的防御结构,并采用一种新的降噪网络,对输入的噪声图像进行降噪处理,从而使得行人再识别模型有更高的识别精度和防御无感噪声攻击的能力。在market1501数据集上模拟无感噪声攻击与防御,实验结果显示,该方法将mAP识别精度从2.6%提高到82.6%,rank-1精度从0.8%提高到83.5%。另外,通过消融实验表明了该方法中每个模块防御无感噪声攻击的有效性。     

基于双向关系相似度函数学习的行人再识别

当前的行人再识别在度量学习上采用马氏距离相似度函数, 该相似度函数只与特征差分空间有关, 忽略了一对行人图像中每个个体的外观特征, 针对上述问题, 提出了通过学习一个双向关系相似度函数(Bidirectional Relationship Similarity Function, BRSF), 来计算一对行人图像的相似度. BRSF不但描述了一对行人图像的互相关关系, 而且关联了一对行人图像的自相关关系. 该文利用KISSME(Keep It Simple and Straightforward Metric)算法的思想进行相似度函数学习, 把一对样本特征的自相关关系和互相关关系用高斯分布来表示, 通过把最终高斯分布的比值转换为BRSF的形式, 得到一个对背景、视角、姿势的变化具有鲁棒性的相似度函数. 在VIPeR, QMUL GRID两个行人再识别数据集上的实验结果表明, 本文算法具有较高的识别率, 其中在VIPeR数据集上, Rank1达到了53.21%.     

基于去相关高精度分类网络与重排序的行人再识别

目前基于深度学习的行人再识别方法通常将分类网络作为基础网络进行训练,再用其提取行人图片的深度特征,最后在欧氏距离度量下计算特征间相似度并建立排序表。因此,分类网络的特征表达能力将影响到再识别的准确率,而特征表达之间的相关性也会使相似度计算存在误差。针对这些问题,采用精度更高的分类网络作为行人再识别的特征提取网络,并使用奇异值分解来降低权向量之间的相关性,优化深度学习过程。此外,使用基于K互近邻的方法,对候选库中需要检索的图片进行重排序,也将进一步提升再识别的精度。在Market-1501数据集上的实验结果表明,该方法能显著提高行人再识别的准确性。     

基于迁移学习的行人再识别

行人再识别指的是在无重叠的多摄像机监控视频中,匹配不同摄像机中的行人目 标。提出了一种基于迁移学习的行人再识别方法。在训练阶段,针对现有的基于深度卷积神经 网络的图像识别模型进行参数微调,将网络模型迁移学习至行人再识别模型。测试阶段,利用 学习好的网络模型提取行人图像的特征,再采用余弦距离来描述行人对之间的相似度。在 CUHK03、Market-1501 和 DukeMTMC-reID 3 个数据集上进行了深入的实验分析,实验结果表 明该方法取得了较高的累积匹配得分,特别是第 1 匹配率远远超过了非深度学习的方法,与其 他基于深度学习的行人再识别方法相比,准确率也有所提升。     

基于行人属性先验分布的行人再识别

为了提高基于深度学习和属性学习的行人再识别的识别精度，提出一种联合识别行人属性和行人ID的神经网络模型.相对于已有的同类方法，该模型有三大优点:1）为了提高网络在微调后的判别能力，在网络中增加了一层保证模型迁移能力的全连接层；2）基于各属性样本的数量，在损失函数中对各属性的损失进行了归一化处理，避免数据集中属性类之间的数量不均衡对识别效果的影响；3）利用数据中各属性分布的先验知识，通过数量占比来调整各属性在损失层中的权重，避免数据集中各属性正负样本的数量不均衡对识别的影响.实验结果表明，本文提出的算法具有较高的识别率，其中在Market1501数据集上，首位匹配率达到了86.90%，在DukeMTMC数据集上，首位匹配率达到了72.83%，在PETA数据集上，首位匹配率达到了75.68%，且对光照变化、行人姿态变化、视角变化和遮挡都具有很好的鲁棒性.     

利用局部监督的跨模态行人重识别研究

跨模态行人重识别技术旨在从非重叠视域不同模态的摄像头捕获的行人图像中,识别出特定行人,行人图像间存在巨大的跨模态差异以及模态内部差异,导致识别率不高。为此,提出了一种利用局部监督的跨模态行人重识别方法(LSN)。首先将可见光图像转换成与红外图像更为接近的灰度图像,在图像层面缓解跨模态的差异,并使用共享参数的双流网络,提取具有判别性的共享特征,在特征层面缓解跨模态差异;其次,设计了局部监督网络,增强了对背景、遮挡等噪声的鲁棒性,缓解了模态内部差异;最后,设计了跨模态分组损失、联合身份损失对网络进行约束。实验结果显示,在SYSU-MM01数据集上,评价指标rank-1和mAP分别达到了53.31%、50.88%;在RegDB数据集上,达到了73.51%、68.55%,实验结果优于同类方法,验证了该方法的有效性和先进性。     

基于UV贴图优化人体特征的行人重识别

现有行人重识别研究大多关注人体在二维平面的特征表示,而在现实社会中,人体以一种对称的三维结构存在,三维人体结构相较二维平面像素含有更多的体型、姿态等特征,仅研究二维平面上的行人特征限制了计算机对人体特征的理解。利用人体是一种三维对称的刚体结构这一先验事实,提出一种基于UV贴图优化人体特征的行人重识别方法。对图像底库进行数据预处理,通过数据增广方法生成更多的训练数据,对预处理后的图片进行特征提取,将特征矩阵解耦为姿态、色彩、形状以及视角参数,利用参数信息调整预定义的人体模型以得到重构后的三维人体模型。将重构后的三维人体模型转化为UV贴图,即将人体特征从三维空间映射到二维平面,同时对UV贴图进行优化从而丰富人体特征。使用UV贴图训练三维行人重识别网络模型,利用后处理的方法对输出结果做进一步优化,以得到最终的行人重识别结果。在Market-1501数据集上的实验结果表明,该方法的rank-1准确率和mAP分别达到94.76%和82.53%,相较OG-Net模型分别提升13.82%和22.56%。     

两路互补对称CNN结构的行人再识别

目的 行人再识别的任务是研究如何在海量监控数据中准确地识别出某个特定场合中曾经出现过的人,已成为公共安全领域中一项新的且具有挑战性的研究课题。其挑战在于,行人在图像中有较大的姿态、视角、光照等变化,这些复杂的变化会严重影响行人再识别性能。近年来,以卷积神经网络（CNN）为代表的深度学习方法在计算机视觉领域取得了巨大的成功,也带动了行人再识别领域的相关研究。CNN有效地克服了行人变化,取得较高的准确率。然而,由于行人再识别数据集中行人标注量小,利用现有的一路CNN模型,其训练过程并不够充分,影响了深度学习模型的鉴别能力。为了解决上述问题,通过对网络结构进行改进,提出一种两路互补对称的CNN结构用于行人再识别任务。方法 本文方法每次同时输入两路样本,其中每路样本之间具有互补特性,此时在有限的训练样本下,输入的组合会更加多样化,CNN模型的训练过程更加丰富。结果 对本文提出的方法在两个公开的大规模数据集（Market-1501和DukeMTMC-reID）上进行实验评估,相比于基线方法有稳定的提升,相比于现存的其他一些方法,其结果也有竞争力。在Market-1501数据集上,1选识别正确率和平均精度均值分别达到了73.25%和48.44%。在DukeMTMC-reID数据集上,1选识别正确率和平均精度均值分别达到了63.02%和41.15%。结论 本文提出的两路互补对称CNN结构的行人再识别方法,能够在现有的有限训练样本下,更加充分地训练CNN模型,学习得到鉴别能力更强的深度学习模型,从而有效地提升行人再识别的性能。     

多特征融合与独立测度学习的行人再识别

目的 由于行人图像受到光照、视角、遮挡和行人姿态等变化的影响,在视觉上容易形成很大的外观差异,对行人再识别造成干扰。为了提高行人再识别的准确性,针对以上问题,提出一种基于多特征融合与独立测度学习的行人再识别算法。方法 首先通过图像增强算法对原始图像进行处理,减少因光照变化产生的影响,然后对处理后的图像进行非均匀分割,同时提取行人图像的HSV、RGS、LAB和YCbCr 4种颜色特征和SILTP（scale invariant local ternary pattern）纹理特征,在基于独立距离测度学习方法下,融合行人的多种特征,学习得到行人图像对的相似度度量函数,最后将行人图像对的相似度进行加权匹配,实现行人再识别。结果 在VIPeR、iLIDS和CUHK01这3个数据集上进行实验,其中Rank1（排名第1的搜索结果即为待查询人的比率）分别达到42.7%、43.6%和43.7%,Rank5（排名前5的搜索结果中包含待查询人的比率）均超过70%,识别率有了显著提高,具有实际应用价值。结论 提出的多特征融合与独立测度学习的行人再识别算法,能够有效表达行人图像信息,且对环境变化具有较强的鲁棒性,有效提高了识别率。     

多方向显著性权值学习的行人再识别

目的 针对当前行人再识别匹配块的显著性外观特征不一致的问题,提出一种对视角和背景变化具有较强鲁棒性的基于多向显著性相似度融合学习的行人再识别算法。方法 首先用流形排序估计目标的内在显著性,并融合类间显著性得到图像块的显著性;然后根据匹配块的4种显著性分布情况,通过多向显著性加权融合建立二者的视觉相似度,同时采用基于结构支持向量机排序的度量学习方法获得各方向显著性权重值,形成图像对之间全面的相似度度量。结果 在两个公共数据库进行再识别实验,本文算法较同类方法能获取更为全面的相似度度量,具有较高的行人再识别率,且不受背景变化的影响。对VIPeR数据库测试集大小为316对行人图像的再识别结果进行了定量统计,本文算法的第1识别率(排名第1的搜索结果即为待查询人的比率)为30%,第15识别率(排名前15的搜索结果中包含待查询人的比率)为72%,具有实际应用价值。结论 多方向显著性加权融合能对图像对的显著性分布进行较为全面的描述,进而得到较为全面的相似度度量。本文算法能够实现大场景非重叠多摄像机下的行人再识别,具有较高的识别力和识别精度,且对背景变化具有较强的鲁棒性。     

基于多特征子空间与核学习的行人再识别

行人再识别指的是在无重叠视域多摄像机监控系统中, 匹配不同摄像机视域中的行人目标.针对当前基于距离测度学习的行人再识别算法中存在着特征提取复杂、训练过程复杂和识别效果差的问题, 我们提出一种基于多特征子空间与核学习的行人再识别算法.该算法首先在不同特征子空间中基于核学习的方法得到不同特征子空间中的测度矩阵以及相应的相似度函数, 然后通过比较不同特征子空间中的相似度之和来对行人进行识别.实验结果表明, 本文提出的算法具有较高的识别率, 其中在VIPeR数据集上, RANK1达到了40.7%, 且对光照变化、行人姿态变化、视角变化和遮挡都具有很好的鲁棒性.     

Learning deep embedding with mini-cluster loss for person re-identification

Recently, the triplet loss is commonly used in many deep person re-identification (ReID) frameworks to learn an embedding space in which similar data points are close and dissimilar data points are far away. However, the triplet loss simply focuses on the relative orders of points. This may lead to a relatively large intra-class variance and then a weak generalization capacity on the test set. In this paper, we propose a mini-cluster loss, which regards images belonging to the same identity as a mini-cluster and treats them as a whole during the training instead of considering them separately. For each mini-cluster in a batch, we define the largest distance between points in a mini-cluster as its inner divergence and the shortest distance with outer points as its outer divergence. By constraining the outer divergence larger than the inner divergence, our framework with the mini-cluster loss achieves the more compact mini-clusters while keeping the diversity distributions of the classes. As a result, a better generalization ability and a higher performance can be obtained. In the extensive experiments, our proposed framework achieves a state-of-the-art performance on two large-scale person ReID datasets (Market1501, DukeMTMC-reID) which clearly demonstrates its effectiveness. Specifically, 72.44% mAP and 87.05% rank-1 score are achieved on the Market1501 dataset with single query setting, 78.17% mAP and 91.05% rank-1 score with multiply query setting, and on the DukeMTMC-reID dataset, 60.19% mAP and 77.20% rank-1 score are obtained.