多特征融合与交替方向乘子法的行人再识别

目的 由于行人图像分辨率差异、光照差异、行人姿态差异以及摄像机视角和成像质量差异等原因,导致同一行人在不同监控视频中的外观区别很大,给行人再识别带来了巨大挑战。为提高行人再识别的准确率,针对以上问题,提出一种基于多特征融合与交替方向乘子法的行人再识别算法。方法 首先利用图像增强算法对所有行人图像进行处理,减少因光照变化产生的影响,然后把处理后的图像进行非均匀分割,同时使用特定区域均值法提取行人图像的HSV和LAB颜色特征以及SILTP（scale invariant local ternary pattern）纹理特征和HOG（histogram of oriented gradient）特征,融合多种特征得到行人图像对的整体与局部相似度度量函数并结合产生相似度函数,最后使用交替方向乘子优化算法更新出最优的测度矩阵实现行人再识别。结果 在VIPeR、CUHK01、CUHK03和GRID这4个数据集上进行实验,其中VIPeR、CUHK01和GRID 3个数据集Rank1（排名第1的搜索结果即为待查询人的比率）分别达到51.5%、48.7%和21.4%,CUHK03 手动裁剪和检测器检测数据集Rank1分别达到62.40%和55.05%,识别率有了显著提高,具有实际应用价值。结论 提出的多特征融合与交替方向乘子优化算法,能够很好地描述行人特征,迭代更新出来的测度矩阵能够很好地表达行人之间的距离信息,较大幅度地提高了识别率。该方法适用于大多数应用场景下的行人再识别。尤其是针对复杂场景下静态图像行人再识别问题,在存在局部遮挡、光照差异和姿态差异的情况下也能保持较高的识别正确率。     

基于多特征子空间与核学习的行人再识别

行人再识别指的是在无重叠视域多摄像机监控系统中, 匹配不同摄像机视域中的行人目标.针对当前基于距离测度学习的行人再识别算法中存在着特征提取复杂、训练过程复杂和识别效果差的问题, 我们提出一种基于多特征子空间与核学习的行人再识别算法.该算法首先在不同特征子空间中基于核学习的方法得到不同特征子空间中的测度矩阵以及相应的相似度函数, 然后通过比较不同特征子空间中的相似度之和来对行人进行识别.实验结果表明, 本文提出的算法具有较高的识别率, 其中在VIPeR数据集上, RANK1达到了40.7%, 且对光照变化、行人姿态变化、视角变化和遮挡都具有很好的鲁棒性.     

多分辨率特征注意力融合行人再识别

目的 行人再识别是实现跨摄像头识别同一行人的关键技术,面临外观、光照、姿态、背景等问题,其中区别行人个体差异的核心是行人整体和局部特征的表征。为了高效地表征行人,提出一种多分辨率特征注意力融合的行人再识别方法。方法 借助注意力机制,基于主干网络HRNet（high-resolution network）,通过交错卷积构建4个不同的分支来抽取多分辨率行人图像特征,既对行人不同粒度特征进行抽取,也对不同分支特征进行交互,对行人进行高效的特征表示。结果 在Market1501、CUHK03以及DukeMTMC-ReID这3个数据集上验证了所提方法的有效性,rank1分别达到95.3%、72.8%、90.5%,mAP（mean average precision）分别达到89.2%、70.4%、81.5%。在Market1501与DukeMTMC-ReID两个数据集上实验结果超越了当前最好表现。结论 本文方法着重提升网络提取特征的能力,得到强有力的特征表示,可用于行人再识别、图像分类和目标检测等与特征提取相关的计算机视觉任务,显著提升行人再识别的准确性。     

基于辨识特征后融合的行人再识别

跨摄像机行人因光照、视角、姿态的差异,会使其外观变化显著,给行人再识别的研究带来严峻挑战。基于多特征融合和距离度量学习技术,提出辨识特征后融合的算法,并将其应用于行人再识别中。首先,对跨摄像机行人样本图像分别提取局部最大出现频次(LOMO)特征和基于显著颜色名称的颜色描述子(SCNCD)特征,表示跨摄像机行人的外观;然后,基于所提取的LOMO和SCNCD特征,分别去训练跨视图二次判别分析(XQDA)距离度量学习模型,分别获取跨摄像机每对行人每个特征优化的距离。最后,应用最小最大标准化距离融合的算法,获取跨摄像机行人最终的距离,用于跨摄像机行人的匹配。在具有挑战的VIPeR和PRID450S两个公开数据集上进行实验,实验结果表明所提出的行人再识别算法有效地提高了行人再识别的准确率。     

基于图像切块的多特征融合行人再识别模型

针对目前由于监控场景背景复杂、拍摄视角差异引起的外貌变化，需要更多细节的特征来区分不同行人的问题，提出一种基于图像切块的多特征融合行人再识别模型。该模型包含3个特征提取分支，分支1和2负责提取行人不同层级的全局特征，分支3将图像水平分为上下两个部分并分别进行局部特征提取，将三个分支的特征进行深度融合。针对全局特征和局部特征的差异联合三种损失函数进行监督训练。在主流的数据集上进行了验证，结果证明该模型可以显著提高行人再识别的准确率。     

基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。     

双粒度特征融合网络的跨模态行人再识别

目的 可见光—红外跨模态行人再识别旨在匹配具有相同行人身份的可见光图像和红外图像。现有方法主要采用模态共享特征学习或模态转换来缩小模态间的差异,前者通常只关注全局或局部特征表示,后者则存在生成模态不可靠的问题。事实上,轮廓具有一定的跨模态不变性,同时也是一种相对可靠的行人识别线索。为了有效利用轮廓信息减少模态间差异,本文将轮廓作为辅助模态,提出了一种轮廓引导的双粒度特征融合网络,用于跨模态行人再识别。方法 在全局粒度上,通过行人图像到轮廓图像的融合,用于增强轮廓的全局特征表达,得到轮廓增广特征。在局部粒度上,通过轮廓增广特征和基于部件的局部特征的融合,用于联合全局特征和局部特征,得到融合后的图像表达。结果 在可见光—红外跨模态行人再识别的两个公开数据集对模型进行评估,结果优于一些代表性方法。在SYSU-MM01(Sun Yat-sen University multiple modality 01)数据集上,本文方法 rank-1准确率和平均精度均值（mean average precision,mAP）分别为62.42%和58.14%。在RegDB(Dongguk body-base...     

基于特征融合及差异矩阵的行人再识别

针对行人目标在不同摄像机下外观显著性变化的问题,提出一种基于特征融合及差异矩阵的行人再识别算法。串联融合显著颜色名描述符(SCNCD)和微调的卷积神经网络(FTCNN)特征来描述行人图像,采用K-means算法获取包含典型行人图像的参考集以优化目标与参考身份相对应的重建关系,运用差异矩阵度量(DMMM)算法进行度量学习。在VIPeR和PRID450s行人再识别数据集上的实验结果表明,所提行人再识别算法具有良好的匹配率和有效性。     

多尺度多特征融合的行人重识别模型EI北大核心CSCD

为了解决行人重识别中行人特征表达不充分、忽视相邻区域的语义相关性等问题,提出了多尺度多特征融合的行人重识别模型.首先,通过多分支结构获取包含不同信息的特征图;其次,通过组合相邻的局部区域,强调局部特征之间的语义相关性;最后,结合最大池化和平均池化的优势,从不同的方向学习更加全面的特征信息.分别在Market-1501,DukeMTMC-reID以及MSMT17数据集上进行实验,结果表明,在光照不同、拍摄角度不同等环境下,文中模型的mAP分别达到了88.40%,78.50%,59.20%,能够有效地提取行人特征,识别精度较高.     

基于多源信息的行人再识别研究综述

随着计算机视觉技术的不断发展,行人再识别技术在安防、侦查和智能监控等领域发挥了巨大的作用,成为了当下的研究热点。传统的行人再识别技术聚焦于摄像机采集到的可见光图像这一视觉信息的研究,并且在实验室条件下已经达到了较好的效果,但在光照情况差、目标遮挡、画质模糊等不利条件下,算法的识别率出现了断崖式的下降。如今视觉信息不单单再聚焦于可见光图像,而是引入了红外图像、深度图像、素描人像等信息用以提高算法的识别率。与此同时,文本信息和时空信息的应用同样也提升了行人再识别算法的性能。但由于各个模态间存在天然差异,如何连接多种信息成了多源信息行人再识别研究的主要问题。对近年公开发表的多源信息行人再识别研究论文的梳理,阐述了行人再识别的研究现状、技术困难以及未来的发展趋势。     

多方向显著性权值学习的行人再识别

目的 针对当前行人再识别匹配块的显著性外观特征不一致的问题,提出一种对视角和背景变化具有较强鲁棒性的基于多向显著性相似度融合学习的行人再识别算法。方法 首先用流形排序估计目标的内在显著性,并融合类间显著性得到图像块的显著性;然后根据匹配块的4种显著性分布情况,通过多向显著性加权融合建立二者的视觉相似度,同时采用基于结构支持向量机排序的度量学习方法获得各方向显著性权重值,形成图像对之间全面的相似度度量。结果 在两个公共数据库进行再识别实验,本文算法较同类方法能获取更为全面的相似度度量,具有较高的行人再识别率,且不受背景变化的影响。对VIPeR数据库测试集大小为316对行人图像的再识别结果进行了定量统计,本文算法的第1识别率(排名第1的搜索结果即为待查询人的比率)为30%,第15识别率(排名前15的搜索结果中包含待查询人的比率)为72%,具有实际应用价值。结论 多方向显著性加权融合能对图像对的显著性分布进行较为全面的描述,进而得到较为全面的相似度度量。本文算法能够实现大场景非重叠多摄像机下的行人再识别,具有较高的识别力和识别精度,且对背景变化具有较强的鲁棒性。     

基于特征融合的行人重识别方法

针对行人重识别中已有方法难以解决行人图像光照、视角变化大的问题,提出了一种基于特征融合的行人重识别方法。首先利用Retinex变换对图像进行预处理;然后将CN特征与原有的颜色和纹理特征融合,并通过区域和块划分的方式提取直方图获得图像特征;最后采用不同的距离学习方法在4个数据集上进行行人重识别。实验结果表明,融合后的特征对行人图像具有更好的表述能力,实现了重识别精度的较大提升,验证了方法的有效性。     

基于多支路特征融合的行人重识别研究

针对目前行人重识别不能充分利用有效特征信息进行识别的问题,提出了一种基于多支路特征融合的行人重识别模型.首先将3个不同的卷积块分别接出1条支路;然后对每条支路上的特征采用注意力机制、批特征擦除等方法处理;最后将各支路特征进行融合,获得了高细粒度表征能力的特征.训练时,各支路相互监督.在Market1501、DukeMT...     

多特征融合的人体目标再识别

在非重叠的多摄像机监控系统中,人体目标再识别是需要解决的主要问题之一。针对当前人体目标再识别使用目标的外观统计特征或者通过训练获取目标特征时存在的问题,提出一种无需训练,对视角、光照变化和姿态变化具有较强鲁棒性的基于多特征的人体目标再识别算法。首先根据空间直方图建立目标整体外观表现模型对目标进行粗识别,之后将人体目标分为3部分,忽略头部信息,分别提取躯干和腿部的主色区域的局部颜色和形状特征,并通过EMD(earth movers distance)距离进行目标精识别。实验结果表明,本文算法具有较高的识别率,且不受遮挡和背景粘连的影响。     

整合全局—局部度量学习的人体目标再识别

目的 人体目标再识别的任务是匹配不同摄像机在不同时间、地点拍摄的人体目标。受光照条件、背景、遮挡、视角和姿态等因素影响,不同摄相机下的同一目标表观差异较大。目前研究主要集中在特征表示和度量学习两方面。很多度量学习方法在人体目标再识别问题上了取得了较好的效果,但对于多样化的数据集,单一的全局度量很难适应差异化的特征。对此,有研究者提出了局部度量学习,但这些方法通常需要求解复杂的凸优化问题,计算繁琐。方法 利用局部度量学习思想,结合近几年提出的XQDA（cross-view quadratic discriminant analysis）和MLAPG（metric learning by accelerated proximal gradient）等全局度量学习方法,提出了一种整合全局和局部度量学习框架。利用高斯混合模型对训练样本进行聚类,在每个聚类内分别进行局部度量学习;同时在全部训练样本集上进行全局度量学习。对于测试样本,根据样本在高斯混合模型各个成分下的后验概率将局部和全局度量矩阵加权结合,作为衡量相似性的依据。特别地,对于MLAPG算法,利用样本在各个高斯成分下的后验概率,改进目标损失函数中不同样本的损失权重,进一步提高该方法的性能。结果 在VIPeR、PRID 450S和QMUL GRID数据集上的实验结果验证了提出的整合全局—局部度量学习方法的有效性。相比于XQDA和MLAPG等全局方法,在VIPeR数据集上的匹配准确率提高2.0%左右,在其他数据集上的性能也有不同程度的提高。另外,利用不同的特征表示对提出的方法进行实验验证,相比于全局方法,匹配准确率提高1.3%~3.4%左右。结论 有效地整合了全局和局部度量学习方法,既能对多种全局度量学习算法的性能做出改进,又能避免局部度量学习算法复杂的计算过程。实验结果表明,对于使用不同的特征表示,提出的整合全局—局部度量学习框架均可对全局度量学习方法做出改进。     

基于特征融合与核局部Fisher判别分析的行人重识别

行人重识别精度主要取决于特征描述和度量学习两个方面。在特征描述方面,现有特征难以解决行人图像视角变化的问题,因此考虑将颜色标签特征与颜色和纹理特征融合,并通过区域和块划分的方式提取直方图获得图像特征;在度量学习方面,传统的核局部Fisher判别分析度量学习方法对所有查询图像统一映射到相同的特征空间中,忽略了查询图像不同区域的重要性,为此在核局部Fisher判别分析的基础上对特征进行区域分组,采用查询自适应得分融合方法来描述图像不同区域的重要性,由此实现度量学习。在VIPeR和iLIDS数据集上,实验结果表明融合后的特征描述能力明显优于原始特征,同时改进的度量学习方法有效提高了行人重识别精度。     

基于深度多视图特征距离学习的行人重识别

传统手工特征很大程度上依赖于行人的外观特征，而深度卷积特征作为高维特征，直接用来匹配图像会消耗大量的时间和内存，并且来自较高层的特征很容易受到行人姿势背景杂波影响。针对这些问题，提出一种基于深度多视图特征距离学习的方法。首先，提出一种新的整合和改善深度区域的卷积特征，利用滑框技术对卷积特征进行处理，得到低维的深度区域聚合特征并使其维数等于卷积层通道数；其次，通过交叉视图二次判别分析方法，从深度区域聚合特征和手工特征两个角度出发，提出一种多视图特征距离学习算法；最后，利用加权融合策略来完成传统特征和卷积特征之间的协作。在Market-1501和VIPeR数据集上的实验结果显示，所提融合模型的Rank1值在两个数据集上分别达到80.17%和75.32%；在CUHK03数据集新分类规则下，所提方法的Rank1值达到33.5%。实验结果表明，通过距离加权融合之后的行人重识别的精度明显高于单独的特征距离度量取得的精度，验证了所提的深度区域特征和算法模型的有效性。     

联合增强局部最大发生特征和k-KISSME 度量学习的行人再识别

摘要：行人再识别是一种在监控视频中自动搜索行人的重要技术,该技术包含特征表示 和度量学习2 部分。有效的特征表示应对光线和视角变化具有鲁棒性,具有判别性的度量学习 能够提高行人图像的匹配精度。但是,现有的特征大多都是基于局部特征表示或者全局特征表 示,没有很好的集成行人外观的精细细节和整体外观信息且度量学习通常是在线性特征空间进 行,不能高效地利用特征空间中的非线性结构。针对该问题,设计了一种增强局部最大发生的 有效特征表示(eLOMO)方法,可以实现行人图像精细细节和整体外观信息的融合,满足人类视 觉识别机制;并提出一种被核化的KISSME 度量学习(k-KISSME)方法,其计算简单、高效,只 需要对2 个逆协方差矩阵进行估计。此外,为了处理光线和视角变化,应用了Retinex 变换和 尺度不变纹理描述符。实验表明该方法具有丰富和完整的行人特征表示能力,与现有主流方法 相比提高了行人再识别的识别率。