多特征融合与独立测度学习的行人再识别

目的 由于行人图像受到光照、视角、遮挡和行人姿态等变化的影响,在视觉上容易形成很大的外观差异,对行人再识别造成干扰。为了提高行人再识别的准确性,针对以上问题,提出一种基于多特征融合与独立测度学习的行人再识别算法。方法 首先通过图像增强算法对原始图像进行处理,减少因光照变化产生的影响,然后对处理后的图像进行非均匀分割,同时提取行人图像的HSV、RGS、LAB和YCbCr 4种颜色特征和SILTP（scale invariant local ternary pattern）纹理特征,在基于独立距离测度学习方法下,融合行人的多种特征,学习得到行人图像对的相似度度量函数,最后将行人图像对的相似度进行加权匹配,实现行人再识别。结果 在VIPeR、iLIDS和CUHK01这3个数据集上进行实验,其中Rank1（排名第1的搜索结果即为待查询人的比率）分别达到42.7%、43.6%和43.7%,Rank5（排名前5的搜索结果中包含待查询人的比率）均超过70%,识别率有了显著提高,具有实际应用价值。结论 提出的多特征融合与独立测度学习的行人再识别算法,能够有效表达行人图像信息,且对环境变化具有较强的鲁棒性,有效提高了识别率。     

区域块分割与融合的行人再识别

目的 由于摄像机视角和成像质量的差异,造成行人姿态变化、图像分辨率变化和光照变化等问题的出现,从而导致同一行人在不同监控视频中的外观区别很大,给行人再识别带来很大挑战。为提高行人再识别的识别率,针对行人姿态变化问题,提出一种区域块分割和融合的行人再识别算法。方法 首先根据人体结构分布,将行人图像划分为3个局部区域。然后根据各区域在识别过程中的作用不同,将GOG（Gaussian of Gaussian）特征、LOMO（local maximal occurrence）特征和KCCA（Kernel canonical correlation analysis）特征的不同组合作为各区域特征。接着通过距离测度算法学习对应区域之间的相似度,并通过干扰块剔除算法消除图像中出现的无效干扰块,融合有效区域块的相似度。最后将行人图像对的全局相似度和各局部区域相似度进行融合,实现行人再识别。结果 在4个基准数据集VIPeR、GRID、PRID450S和CUHK01上进行了大量实验,其中Rank1（排名第1的搜索结果即为待查询人的比例）分别为62.85%、30.56%、71.82%和79.03%,Rank5分别为86.17%、51.20%、91.16%和93.60%,识别率均有显著提高,具有实际应用价值。结论 提出的区域块分割和融合方法,能够去除图像中的无用信息和干扰信息,同时保留行人的有效信息并高效利用。该方法在一定程度上能够解决行人姿态变化带来的外观差异问题,大幅度地提升识别率。     

多特征融合与交替方向乘子法的行人再识别

目的 由于行人图像分辨率差异、光照差异、行人姿态差异以及摄像机视角和成像质量差异等原因,导致同一行人在不同监控视频中的外观区别很大,给行人再识别带来了巨大挑战。为提高行人再识别的准确率,针对以上问题,提出一种基于多特征融合与交替方向乘子法的行人再识别算法。方法 首先利用图像增强算法对所有行人图像进行处理,减少因光照变化产生的影响,然后把处理后的图像进行非均匀分割,同时使用特定区域均值法提取行人图像的HSV和LAB颜色特征以及SILTP（scale invariant local ternary pattern）纹理特征和HOG（histogram of oriented gradient）特征,融合多种特征得到行人图像对的整体与局部相似度度量函数并结合产生相似度函数,最后使用交替方向乘子优化算法更新出最优的测度矩阵实现行人再识别。结果 在VIPeR、CUHK01、CUHK03和GRID这4个数据集上进行实验,其中VIPeR、CUHK01和GRID 3个数据集Rank1（排名第1的搜索结果即为待查询人的比率）分别达到51.5%、48.7%和21.4%,CUHK03 手动裁剪和检测器检测数据集Rank1分别达到62.40%和55.05%,识别率有了显著提高,具有实际应用价值。结论 提出的多特征融合与交替方向乘子优化算法,能够很好地描述行人特征,迭代更新出来的测度矩阵能够很好地表达行人之间的距离信息,较大幅度地提高了识别率。该方法适用于大多数应用场景下的行人再识别。尤其是针对复杂场景下静态图像行人再识别问题,在存在局部遮挡、光照差异和姿态差异的情况下也能保持较高的识别正确率。     

基于核空间与稠密水平条带特征的行人再识别

行人再识别指的是在无重叠视域多摄像机监控系统中, 匹配不同摄像机视域中的行人目标。由于行人图像受到光照、视角和行人姿态等变化的影响,在视觉上容易形成很大的外观差异,针对上述问题,提出了一种基于核空间与稠密水平条带特征的行人再识别算法。该算法首先通过自顶向下的滑动水平条带提取每个水平条带的颜色特征和纹理特征,然后融合行人图像的多种特征,映射到核空间,最后在核空间里学习得到一个对背景、视角、姿势的变化具有鲁棒性的相似度函数,通过比较相似度来对行人进行再识别。在VIPeR和iLIDS两个行人再识别数据集上的实验结果表明,本文算法具有较高的识别率,其中Rank1(排名第1的搜索结果即为待查询行人的比率)分别达到48.2%和60.8%。     

基于双向关系相似度函数学习的行人再识别

当前的行人再识别在度量学习上采用马氏距离相似度函数, 该相似度函数只与特征差分空间有关, 忽略了一对行人图像中每个个体的外观特征, 针对上述问题, 提出了通过学习一个双向关系相似度函数(Bidirectional Relationship Similarity Function, BRSF), 来计算一对行人图像的相似度. BRSF不但描述了一对行人图像的互相关关系, 而且关联了一对行人图像的自相关关系. 该文利用KISSME(Keep It Simple and Straightforward Metric)算法的思想进行相似度函数学习, 把一对样本特征的自相关关系和互相关关系用高斯分布来表示, 通过把最终高斯分布的比值转换为BRSF的形式, 得到一个对背景、视角、姿势的变化具有鲁棒性的相似度函数. 在VIPeR, QMUL GRID两个行人再识别数据集上的实验结果表明, 本文算法具有较高的识别率, 其中在VIPeR数据集上, Rank1达到了53.21%.     

采用指数矩的图像区域复制粘贴篡改检测

目的 图像区域复制粘贴篡改是目前众多图像篡改技术中一种简单而且常见的方式。针对目前大多数区域复制粘贴篡改检测算法鲁棒性不强,提出一种基于指数矩的图像篡改检测算法。方法 首先将图像分成重叠的图像子块,然后提取每一图像子块的指数矩作为特征向量进行字典排序,利用向量相似度和位移初步确定疑似图像子块,再根据疑似图像子块的相邻子块个数和角度方差去除误匹配块,得到最终篡改区域。结果 该算法具有良好的鲁棒性,与采用圆谐-傅里叶矩的算法相比,在图像受到噪声干扰时,检测率平均提高26.66%,错误率平均降低33.77%。结论 本文算法利用图像的指数矩,针对图像区域复制粘贴篡改操作,能有效检测出图像的篡改区域。检测图像在经过旋转、高斯模糊和添加噪声等后期处理时,算法依然有效。     

俯视深度头肩序列行人再识别

目的 行人再识别是指在一个或者多个相机拍摄的图像或视频中实现行人匹配的技术,广泛用于图像检索、智能安保等领域。按照相机种类和拍摄视角的不同,行人再识别算法可主要分为基于侧视角彩色相机的行人再识别算法和基于俯视角深度相机的行人再识别算法。在侧视角彩色相机场景中,行人身体的大部分表观信息可见;而在俯视角深度相机场景中,仅行人头部和肩部的结构信息可见。现有的多数算法主要针对侧视角彩色相机场景,只有少数算法可以直接应用于俯视角深度相机场景中,尤其是低分辨率场景,如公交车的车载飞行时间（time of flight,TOF）相机拍摄的视频。因此针对俯视角深度相机场景,本文提出了一种基于俯视深度头肩序列的行人再识别算法,以期提高低分辨率场景下的行人再识别精度。方法 对俯视深度头肩序列进行头部区域检测和卡尔曼滤波器跟踪,获取行人的头部图像序列,构建头部深度能量图组（head depth energy map group,HeDEMaG）,并据此提取深度特征、面积特征、投影特征、傅里叶描述子和方向梯度直方图（histogram of oriented gradient,HOG）特征。计算行人之间头部深度能量图组的各特征之间的相似度,再利用经过模型学习所获得的权重系数对各特征相似度进行加权融合,从而得到相似度总分,将最大相似度对应的行人标签作为识别结果,实现行人再识别。结果 本文算法在公开的室内单人场景TVPR （top view person re-identification）数据集、自建的室内多人场景TDPI-L （top-view depth based person identification for laboratory scenarios）数据集和公交车实际场景TDPI-B （top-view depth based person identification for bus scenarios）数据集上进行了测试,使用首位匹配率（rank-1）、前5位匹配率（rank-5）、宏F1值（macro-F1）、累计匹配曲线（cumulative match characteristic,CMC）和平均耗时等5个指标来衡量算法性能。其中,rank-1、rank-5和macro-F1分别达到61%、68%和67%以上,相比于典型算法至少提高了11%。结论 本文构建了表达行人结构与行为特征的头部深度能量图组,实现了适合低分辨率行人的多特征表达;提出了基于权重学习的相似度融合,提高了识别精度,在室内单人、室内多人和公交车实际场景数据集中均取得了较好的效果。     

前背景骨架区域随机点对策略驱动下的车标识别方法

目的 现有的车标识别算法均为各种经典的图像特征算子结合不同的分类器组合而成,均未分析车标图像的结构特点。综合考虑车标图像的灰度特征和结构特征,提出了一种前背景骨架区域随机点对策略驱动下的车标识别方法。方法 本文算法将标准车标图像分为前景区域和背景区域,分别提取前、背景的骨架区域,在其中进行随机取点,形成点对,通过进行点对的有效性判断,提取能表示车标的点对特征。点对特征表示两点周围局部区域的相似关系,反映了实际车标成像过程中车标图案部分与背景部分的灰度明暗关系。结果 在卡口系统截取的19 044张车标图像上进行实验,结果表明,与其他仅基于灰度特征的识别方法相比,本文提出的点对特征识别方法具有更好的识别效果,识别率达到了95.7%。在弱光照条件下,本文算法的识别算法效果同样优于其他仅基于灰度特征的识别方法,识别率达到了87.2%。结论 本文提出的前背景骨架区域随机点对策略驱动下的车标识别方法,结合了车标图像的灰度特征和结构特征,在进行车标的描述上具有独特性和排他性,有效地提高了车标的识别率,尤其是在弱光照条件下,本文方法具有更强的鲁棒性。     

利用双通道卷积神经网络的图像超分辨率算法

目的 图像超分辨率算法在实际应用中有着较为广泛的需求和研究。然而传统基于样本的超分辨率算法均使用简单的图像梯度特征表征低分辨率图像块,这些特征难以有效地区分不同的低分辨率图像块。针对此问题,在传统基于样本超分辨率算法的基础上,提出双通道卷积神经网络学习低分辨率与高分辨率图像块相似度进行图像超分辨率的算法。方法 首先利用深度卷积神经网络学习得到有效的低分辨率与高分辨率图像块之间相似性度量,然后根据输入低分辨率图像块与高分辨率图像块字典基元的相似度重构出对应的高分辨率图像块。结果 本文算法在Set5和Set14数据集上放大3倍情况下分别取得了平均峰值信噪比(PSNR)为32.53 dB与29.17 dB的效果。结论 本文算法从低分辨率与高分辨率图像块相似度学习角度解决图像超分辨率问题,可以更好地保持结果图像中的边缘信息,减弱结果中的振铃现象。本文算法可以很好地适用于自然场景图像的超分辨率增强任务。     

结合深度度量学习的血缘关系识别

目的 人脸图像分析是计算机视觉和模式识别领域的重要研究方向之一,基于人脸图像的血缘关系识别是对给定的一对或一组人脸图像,判断其是否存在某种血缘关系。人脸血缘关系识别不仅在生物特征识别领域有着重要研究价值,而且在社交媒体挖掘、失散家庭成员寻找等社会生活领域中有重要的应用价值。针对当前大多数算法都是基于传统机器学习方法,提出一种采用深度度量学习进行人脸图像血缘关系研究的新方法。方法 目前深度学习算法能很好地理解单张人脸图像,但是多个主体间的关系探究仍然是计算机视觉领域富有挑战性的问题之一。为此,提出一种基于深度度量学习的父母与子女的血缘关系识别方法。首先使用超过5 000 000张人脸图像的样本集训练一个深度卷积神经网络FaceCNN并提取父母与子女的人脸图像深度特征,之后引入判别性度量学习方法,使得具有血缘关系的特征尽可能地靠近,反之则尽可能地远离。然后对特征进行分层非线性变换使其具有更强判别特性。最后根据余弦相似度分别计算父亲、母亲和孩子的相似度并利用相似概率值得到双亲和孩子的综合相似度得分。结果 算法在TSKinFace数据集上验证了FaceCNN提取特征与深度度量学习结合进行血缘关系识别的有效性,最终在该数据集上父母与儿子和女儿的血缘关系识别准确率分别达到87.71%和89.18%,同时算法在进行血缘度量学习和双亲相似度计算仅需要3.616 s。结论 提出的血缘关系识别方法,充分利用深度学习网络良好的表征和学习能力,不仅耗时少,而且有效地提高了识别准确率。     

整合全局—局部度量学习的人体目标再识别

目的 人体目标再识别的任务是匹配不同摄像机在不同时间、地点拍摄的人体目标。受光照条件、背景、遮挡、视角和姿态等因素影响,不同摄相机下的同一目标表观差异较大。目前研究主要集中在特征表示和度量学习两方面。很多度量学习方法在人体目标再识别问题上了取得了较好的效果,但对于多样化的数据集,单一的全局度量很难适应差异化的特征。对此,有研究者提出了局部度量学习,但这些方法通常需要求解复杂的凸优化问题,计算繁琐。方法 利用局部度量学习思想,结合近几年提出的XQDA（cross-view quadratic discriminant analysis）和MLAPG（metric learning by accelerated proximal gradient）等全局度量学习方法,提出了一种整合全局和局部度量学习框架。利用高斯混合模型对训练样本进行聚类,在每个聚类内分别进行局部度量学习;同时在全部训练样本集上进行全局度量学习。对于测试样本,根据样本在高斯混合模型各个成分下的后验概率将局部和全局度量矩阵加权结合,作为衡量相似性的依据。特别地,对于MLAPG算法,利用样本在各个高斯成分下的后验概率,改进目标损失函数中不同样本的损失权重,进一步提高该方法的性能。结果 在VIPeR、PRID 450S和QMUL GRID数据集上的实验结果验证了提出的整合全局—局部度量学习方法的有效性。相比于XQDA和MLAPG等全局方法,在VIPeR数据集上的匹配准确率提高2.0%左右,在其他数据集上的性能也有不同程度的提高。另外,利用不同的特征表示对提出的方法进行实验验证,相比于全局方法,匹配准确率提高1.3%~3.4%左右。结论 有效地整合了全局和局部度量学习方法,既能对多种全局度量学习算法的性能做出改进,又能避免局部度量学习算法复杂的计算过程。实验结果表明,对于使用不同的特征表示,提出的整合全局—局部度量学习框架均可对全局度量学习方法做出改进。     

基于低通滤波模型的行人再识别算法

针对行人再识别的图像中由于遮挡和背景干扰而存在大量无用特征的问题,提出一种基于低通滤波模型的行人再识别方法。首先,将行人图像进行分块;然后,计算各种小块在各图像中的相似个数,其中相似个数较多的小块为高频噪声特征、相似个数较少的小块为有益特征;最后,不同于常见图像处理中的滤除突变特征、留下平滑特征的低通滤波器,所提方法利用通信系统中的低通滤波器实现抑制高频噪声特征、增益有益特征的目标。实验结果表明,所提方法在ETHZ数据集上的识别率比经典的对称性局部特征累加（SDALF）方法提升了近20%;同时,该方法在VIPeR和I-LIDS数据集上也取得了相似的效果。     

基于低通滤波模型的行人再识别算法

针对行人再识别的图像中由于遮挡和背景干扰而存在大量无用特征的问题，提出一种基于低通滤波模型的行人再识别方法。首先，将行人图像进行分块；然后，计算各种小块在各图像中的相似个数，其中相似个数较多的小块为高频噪声特征、相似个数较少的小块为有益特征；最后，不同于常见图像处理中的滤除突变特征、留下平滑特征的低通滤波器，所提方法利用通信系统中的低通滤波器实现抑制高频噪声特征、增益有益特征的目标。实验结果表明，所提方法在ETHZ数据集上的识别率比经典的对称性局部特征累加（SDALF）方法提升了近20%；同时，该方法在VIPeR和I-LIDS数据集上也取得了相似的效果。     

迁移度量学习行人再识别算法

行人再识别技术是计算机视觉领域中一个具有挑战性的任务。该任务针对个体的外观变化模式展开研究,特征变化剧烈,存在小样本问题,而通过提出的一种基于迁移学习的度量学习模型,可约束不同数据集样本分布的差异,实现度量模型在不同数据集上的迁移。该算法不仅增强了度量模型训练样本的多样性,提高了分辨能力,同时提升了样本的适应性。最后,通过在iLIDS数据集进行度量模型的预训练,并在VIPeR和CUHK01两个数据集上进行的迁移学习,验证了算法的有效性和准确性。     

基于多特征子空间与核学习的行人再识别

行人再识别指的是在无重叠视域多摄像机监控系统中, 匹配不同摄像机视域中的行人目标.针对当前基于距离测度学习的行人再识别算法中存在着特征提取复杂、训练过程复杂和识别效果差的问题, 我们提出一种基于多特征子空间与核学习的行人再识别算法.该算法首先在不同特征子空间中基于核学习的方法得到不同特征子空间中的测度矩阵以及相应的相似度函数, 然后通过比较不同特征子空间中的相似度之和来对行人进行识别.实验结果表明, 本文提出的算法具有较高的识别率, 其中在VIPeR数据集上, RANK1达到了40.7%, 且对光照变化、行人姿态变化、视角变化和遮挡都具有很好的鲁棒性.     

基于特征融合及差异矩阵的行人再识别

针对行人目标在不同摄像机下外观显著性变化的问题,提出一种基于特征融合及差异矩阵的行人再识别算法。串联融合显著颜色名描述符(SCNCD)和微调的卷积神经网络(FTCNN)特征来描述行人图像,采用K-means算法获取包含典型行人图像的参考集以优化目标与参考身份相对应的重建关系,运用差异矩阵度量(DMMM)算法进行度量学习。在VIPeR和PRID450s行人再识别数据集上的实验结果表明,所提行人再识别算法具有良好的匹配率和有效性。