多特征融合与独立测度学习的行人再识别

目的 由于行人图像受到光照、视角、遮挡和行人姿态等变化的影响,在视觉上容易形成很大的外观差异,对行人再识别造成干扰。为了提高行人再识别的准确性,针对以上问题,提出一种基于多特征融合与独立测度学习的行人再识别算法。方法 首先通过图像增强算法对原始图像进行处理,减少因光照变化产生的影响,然后对处理后的图像进行非均匀分割,同时提取行人图像的HSV、RGS、LAB和YCbCr 4种颜色特征和SILTP（scale invariant local ternary pattern）纹理特征,在基于独立距离测度学习方法下,融合行人的多种特征,学习得到行人图像对的相似度度量函数,最后将行人图像对的相似度进行加权匹配,实现行人再识别。结果 在VIPeR、iLIDS和CUHK01这3个数据集上进行实验,其中Rank1（排名第1的搜索结果即为待查询人的比率）分别达到42.7%、43.6%和43.7%,Rank5（排名前5的搜索结果中包含待查询人的比率）均超过70%,识别率有了显著提高,具有实际应用价值。结论 提出的多特征融合与独立测度学习的行人再识别算法,能够有效表达行人图像信息,且对环境变化具有较强的鲁棒性,有效提高了识别率。     

多特征融合与交替方向乘子法的行人再识别

目的 由于行人图像分辨率差异、光照差异、行人姿态差异以及摄像机视角和成像质量差异等原因,导致同一行人在不同监控视频中的外观区别很大,给行人再识别带来了巨大挑战。为提高行人再识别的准确率,针对以上问题,提出一种基于多特征融合与交替方向乘子法的行人再识别算法。方法 首先利用图像增强算法对所有行人图像进行处理,减少因光照变化产生的影响,然后把处理后的图像进行非均匀分割,同时使用特定区域均值法提取行人图像的HSV和LAB颜色特征以及SILTP（scale invariant local ternary pattern）纹理特征和HOG（histogram of oriented gradient）特征,融合多种特征得到行人图像对的整体与局部相似度度量函数并结合产生相似度函数,最后使用交替方向乘子优化算法更新出最优的测度矩阵实现行人再识别。结果 在VIPeR、CUHK01、CUHK03和GRID这4个数据集上进行实验,其中VIPeR、CUHK01和GRID 3个数据集Rank1（排名第1的搜索结果即为待查询人的比率）分别达到51.5%、48.7%和21.4%,CUHK03 手动裁剪和检测器检测数据集Rank1分别达到62.40%和55.05%,识别率有了显著提高,具有实际应用价值。结论 提出的多特征融合与交替方向乘子优化算法,能够很好地描述行人特征,迭代更新出来的测度矩阵能够很好地表达行人之间的距离信息,较大幅度地提高了识别率。该方法适用于大多数应用场景下的行人再识别。尤其是针对复杂场景下静态图像行人再识别问题,在存在局部遮挡、光照差异和姿态差异的情况下也能保持较高的识别正确率。     

多方向显著性权值学习的行人再识别

目的 针对当前行人再识别匹配块的显著性外观特征不一致的问题,提出一种对视角和背景变化具有较强鲁棒性的基于多向显著性相似度融合学习的行人再识别算法。方法 首先用流形排序估计目标的内在显著性,并融合类间显著性得到图像块的显著性;然后根据匹配块的4种显著性分布情况,通过多向显著性加权融合建立二者的视觉相似度,同时采用基于结构支持向量机排序的度量学习方法获得各方向显著性权重值,形成图像对之间全面的相似度度量。结果 在两个公共数据库进行再识别实验,本文算法较同类方法能获取更为全面的相似度度量,具有较高的行人再识别率,且不受背景变化的影响。对VIPeR数据库测试集大小为316对行人图像的再识别结果进行了定量统计,本文算法的第1识别率(排名第1的搜索结果即为待查询人的比率)为30%,第15识别率(排名前15的搜索结果中包含待查询人的比率)为72%,具有实际应用价值。结论 多方向显著性加权融合能对图像对的显著性分布进行较为全面的描述,进而得到较为全面的相似度度量。本文算法能够实现大场景非重叠多摄像机下的行人再识别,具有较高的识别力和识别精度,且对背景变化具有较强的鲁棒性。     

针对形变与遮挡问题的行人再识别

目的 姿态变化和遮挡导致行人表现出明显差异,给行人再识别带来了巨大挑战。针对以上问题,本文提出一种融合形变与遮挡机制的行人再识别算法。方法 为了模拟行人姿态的变化,在基础网络输出的特征图上采用卷积的形式为特征图的每个位置学习两个偏移量,偏移量包括水平和垂直两个方向,后续的卷积操作通过考虑每个位置的偏移量提取形变的特征,从而提高网络应对行人姿态改变时的能力;为了解决遮挡问题,本文通过擦除空间注意力高响应对应的特征区域而仅保留低响应特征区域,模拟行人遮挡样本,进一步改善网络应对遮挡样本的能力。在测试阶段,将两种方法提取的特征与基础网络特征级联,保证特征描述子的鲁棒性。结果 本文方法在行人再识别领域3个公开大尺度数据集Market-1501、DukeMTMC-reID和CUHK03（包括detected和labeled）上进行评估,首位命中率Rank-1分别达到89.52%、81.96%、48.79%和50.29%,平均精度均值（mean average precision,mAP）分别达到73.98%、64.45%、43.77%和45.58%。结论 本文提出的融合形变与遮挡机制的行人再识别算法可以学习到鉴别能力更强的行人再识别模型,从而提取更加具有区分性的行人特征,尤其是针对复杂场景,在发生行人姿态改变及遮挡时仍能保持较高的识别准确率。     

基于核空间与稠密水平条带特征的行人再识别

行人再识别指的是在无重叠视域多摄像机监控系统中, 匹配不同摄像机视域中的行人目标。由于行人图像受到光照、视角和行人姿态等变化的影响,在视觉上容易形成很大的外观差异,针对上述问题,提出了一种基于核空间与稠密水平条带特征的行人再识别算法。该算法首先通过自顶向下的滑动水平条带提取每个水平条带的颜色特征和纹理特征,然后融合行人图像的多种特征,映射到核空间,最后在核空间里学习得到一个对背景、视角、姿势的变化具有鲁棒性的相似度函数,通过比较相似度来对行人进行再识别。在VIPeR和iLIDS两个行人再识别数据集上的实验结果表明,本文算法具有较高的识别率,其中Rank1(排名第1的搜索结果即为待查询行人的比率)分别达到48.2%和60.8%。     

采用指数矩的图像区域复制粘贴篡改检测

目的 图像区域复制粘贴篡改是目前众多图像篡改技术中一种简单而且常见的方式。针对目前大多数区域复制粘贴篡改检测算法鲁棒性不强,提出一种基于指数矩的图像篡改检测算法。方法 首先将图像分成重叠的图像子块,然后提取每一图像子块的指数矩作为特征向量进行字典排序,利用向量相似度和位移初步确定疑似图像子块,再根据疑似图像子块的相邻子块个数和角度方差去除误匹配块,得到最终篡改区域。结果 该算法具有良好的鲁棒性,与采用圆谐-傅里叶矩的算法相比,在图像受到噪声干扰时,检测率平均提高26.66%,错误率平均降低33.77%。结论 本文算法利用图像的指数矩,针对图像区域复制粘贴篡改操作,能有效检测出图像的篡改区域。检测图像在经过旋转、高斯模糊和添加噪声等后期处理时,算法依然有效。     

俯视深度头肩序列行人再识别

目的 行人再识别是指在一个或者多个相机拍摄的图像或视频中实现行人匹配的技术,广泛用于图像检索、智能安保等领域。按照相机种类和拍摄视角的不同,行人再识别算法可主要分为基于侧视角彩色相机的行人再识别算法和基于俯视角深度相机的行人再识别算法。在侧视角彩色相机场景中,行人身体的大部分表观信息可见;而在俯视角深度相机场景中,仅行人头部和肩部的结构信息可见。现有的多数算法主要针对侧视角彩色相机场景,只有少数算法可以直接应用于俯视角深度相机场景中,尤其是低分辨率场景,如公交车的车载飞行时间（time of flight,TOF）相机拍摄的视频。因此针对俯视角深度相机场景,本文提出了一种基于俯视深度头肩序列的行人再识别算法,以期提高低分辨率场景下的行人再识别精度。方法 对俯视深度头肩序列进行头部区域检测和卡尔曼滤波器跟踪,获取行人的头部图像序列,构建头部深度能量图组（head depth energy map group,HeDEMaG）,并据此提取深度特征、面积特征、投影特征、傅里叶描述子和方向梯度直方图（histogram of oriented gradient,HOG）特征。计算行人之间头部深度能量图组的各特征之间的相似度,再利用经过模型学习所获得的权重系数对各特征相似度进行加权融合,从而得到相似度总分,将最大相似度对应的行人标签作为识别结果,实现行人再识别。结果 本文算法在公开的室内单人场景TVPR （top view person re-identification）数据集、自建的室内多人场景TDPI-L （top-view depth based person identification for laboratory scenarios）数据集和公交车实际场景TDPI-B （top-view depth based person identification for bus scenarios）数据集上进行了测试,使用首位匹配率（rank-1）、前5位匹配率（rank-5）、宏F1值（macro-F1）、累计匹配曲线（cumulative match characteristic,CMC）和平均耗时等5个指标来衡量算法性能。其中,rank-1、rank-5和macro-F1分别达到61%、68%和67%以上,相比于典型算法至少提高了11%。结论 本文构建了表达行人结构与行为特征的头部深度能量图组,实现了适合低分辨率行人的多特征表达;提出了基于权重学习的相似度融合,提高了识别精度,在室内单人、室内多人和公交车实际场景数据集中均取得了较好的效果。     

结合BiLSTM和注意力机制的视频行人再识别

目的 跨摄像头跨场景的视频行人再识别问题是目前计算机视觉领域的一项重要任务。在现实场景中,光照变化、遮挡、观察点变化以及杂乱的背景等造成行人外观的剧烈变化,增加了行人再识别的难度。为提高视频行人再识别系统在复杂应用场景中的鲁棒性,提出了一种结合双向长短时记忆循环神经网络（BiLSTM）和注意力机制的视频行人再识别算法。方法 首先基于残差网络结构,训练卷积神经网络（CNN）学习空间外观特征,然后使用BiLSTM提取双向时间运动信息,最后通过注意力机制融合学习到的空间外观特征和时间运动信息,以形成一个有判别力的视频层次表征。结果 在两个公开的大规模数据集上与现有的其他方法进行了实验比较。在iLIDS-VID数据集中,与性能第2的方法相比,首位命中率Rank1指标提升了4.5%;在PRID2011数据集中,相比于性能第2的方法,首位命中率Rank1指标提升了3.9%。同时分别在两个数据集中进行了消融实验,实验结果验证了所提出算法的有效性。结论 提出的结合BiLSTM和注意力机制的视频行人再识别算法,能够充分利用视频序列中的信息,学习到更鲁棒的序列特征。实验结果表明,对于不同数据集,均能显著提升识别性能。     

前背景骨架区域随机点对策略驱动下的车标识别方法

目的 现有的车标识别算法均为各种经典的图像特征算子结合不同的分类器组合而成,均未分析车标图像的结构特点。综合考虑车标图像的灰度特征和结构特征,提出了一种前背景骨架区域随机点对策略驱动下的车标识别方法。方法 本文算法将标准车标图像分为前景区域和背景区域,分别提取前、背景的骨架区域,在其中进行随机取点,形成点对,通过进行点对的有效性判断,提取能表示车标的点对特征。点对特征表示两点周围局部区域的相似关系,反映了实际车标成像过程中车标图案部分与背景部分的灰度明暗关系。结果 在卡口系统截取的19 044张车标图像上进行实验,结果表明,与其他仅基于灰度特征的识别方法相比,本文提出的点对特征识别方法具有更好的识别效果,识别率达到了95.7%。在弱光照条件下,本文算法的识别算法效果同样优于其他仅基于灰度特征的识别方法,识别率达到了87.2%。结论 本文提出的前背景骨架区域随机点对策略驱动下的车标识别方法,结合了车标图像的灰度特征和结构特征,在进行车标的描述上具有独特性和排他性,有效地提高了车标的识别率,尤其是在弱光照条件下,本文方法具有更强的鲁棒性。     

显著图和多特征结合的遥感图像飞机目标识别

目的 遥感图像飞机目标的检测与识别是近年来国内外研究的热点之一。传统的飞机目标识别算法一般是先通过目标分割,然后提取不变特征进行训练来完成目标的识别。在干扰较少的情况下,传统算法的识别效果较好。但遥感图像存在着大量的干扰因素,如光照变化、复杂背景及噪声等,因此传统算法识别精度较低,耗时量较大。为快速、准确识别遥感图像中飞机目标,提出一种基于显著图和全局特征、局部特征结合的飞机目标识别算法。方法 首先使用改进的Itti显著算法提取遥感图像中的显著目标;接着使用基于区域增长和线标记算法寻找连通区域来确定候选目标的数量和位置;然后提取MSA（multi-scale autoconvolution）、Pseudo-Zernike矩和Harris-Laplace特征描述子,并使用标准差和均值的比值来评估特征的稳定性,再把提取的特征结合成特征向量;最后应用支持向量机的方法完成对候选目标的识别。结果 实验结果表明,本文算法检测率和识别率分别为97.2%和94.9%,均高于现有算法,并且耗时少,虚警率低（为0.03）,对噪声干扰、背景影响以及光照变化和仿射变化均具有良好的鲁棒性。结论 本文算法使用了图像的3种特征信息,包括MSA、Pseudo-Zernike矩和Harris-Laplace特征描述子,有效克服单一特征的缺点,提高了遥感图像飞机目标的识别率和抗干扰能力。     

基于特征融合与核局部Fisher判别分析的行人重识别

行人重识别精度主要取决于特征描述和度量学习两个方面。在特征描述方面,现有特征难以解决行人图像视角变化的问题,因此考虑将颜色标签特征与颜色和纹理特征融合,并通过区域和块划分的方式提取直方图获得图像特征;在度量学习方面,传统的核局部Fisher判别分析度量学习方法对所有查询图像统一映射到相同的特征空间中,忽略了查询图像不同区域的重要性,为此在核局部Fisher判别分析的基础上对特征进行区域分组,采用查询自适应得分融合方法来描述图像不同区域的重要性,由此实现度量学习。在VIPeR和iLIDS数据集上,实验结果表明融合后的特征描述能力明显优于原始特征,同时改进的度量学习方法有效提高了行人重识别精度。     

基于融合关系学习网络的行人重识别

基于图卷积神经网络的行人重识别方法面临两个问题:1)在对特征映射构图时,图节点表达的语义信息不够显著;2)选择特征块构图时仅依赖特征块间的相对距离,忽略内容相似性.为了解决这两个问题,文中提出融合关系学习网络的行人重识别.利用注意力机制,使用最大注意力模型,使最重要的特征块更显著,赋予其语义信息.融合相似性度量,从距离和内容两方面对特征块进行相似性计算,度量方式更全面.该算法能够综合地选取近邻特征块,为图卷积神经网络提供更好的输入图结构,使图卷积神经网络提取更鲁棒的结构关系特征.在iLIDS-VID、MARS数据集上的实验验证文中网络的有效性.     

基于块稀疏表示的行人重识别方法

针对非重叠视角下的行人重识别和高维特征提取等问题,提出基于块稀疏表示的行人重识别方法。采取典型相关分析（CCA）方法进行特征投影变换,通过提高特征匹配能力来避免高维特征运算引起的维数灾难问题,并在CCA转换后的投影空间使投影后查询集行人特征向量与相应的数据集特征向量近似成线性关系;利用行人数据集的块结构特征构建行人重识别模型,采用交替方向框架求解优化问题;最后对查询集中要识别的行人采用残差项处理,并将最小残差项所对应的指标作为最终识别的行人记号。在公开数据集PRID 2011、iLIDS-VID和VIPeR上进行多次实验,结果显示所提方法的Rank1性能在三个数据集上分别达到40.4%、38.11%和23.68%,明显高于大间隔最近邻分类（LMNN）等算法,其在Rank-1上的匹配率也远大于LMNN算法;其总体性能也优于经典的基于特征表示与度量学习的算法。实验结果验证了所提方法在行人重识别上的有效性。     

行人再识别技术综述

行人再识别指的是判断不同摄像头下出现的行人是否属于同一行人, 可以看作是图像检索的子问题, 可以广泛应用于智能视频监控、安保、刑侦等领域.由于行人图像的分辨率变化大、拍摄角度不统一、光照条件差、环境变化大、行人姿态不断变化等原因, 使得行人再识别成为目前计算机视觉领域一个既具有研究价值又极具挑战性的研究热点和难点问题.早期的行人再识别方法大多基于人工设计特征, 在小规模数据集上开展研究.近年来, 大规模行人再识别数据集不断推出, 以及深度学习技术的迅猛发展, 为行人再识别技术的发展带来了新的契机.本文对行人再识别的发展历史、研究现状以及典型方法进行梳理和总结.首先阐述了行人再识别的基本研究框架, 然后分别针对行人再识别的两个关键技术(特征表达和相似性度量), 进行了归纳总结, 重点介绍了目前发展迅猛的深度学习技术在行人再识别中的应用.另外, 本文对行人再识别中代表性的数据集以及在各个数据集上可以取得优异性能的方法进行了分析和比较.最后对行人再识别技术的未来发展趋势进行了展望.     

结合注意力和纹理特征增强的行人再识别

针对现有行人再识别算法在处理图像分辨率低、光照差异、姿态和视角多样等情况时,准确率低的问题,提出了基于空间注意力和纹理特征增强的多任务行人再识别算法.算法设计的空间注意力模块更注重与行人属性相关的潜在图像区域,融入属性识别网络,实现属性特征的挖掘;提出的行人再识别网络的纹理特征增强模块通过融合不同空间级别所对应的全局和...     

基于特征融合的行人重识别方法

针对行人重识别中已有方法难以解决行人图像光照、视角变化大的问题,提出了一种基于特征融合的行人重识别方法。首先利用Retinex变换对图像进行预处理;然后将CN特征与原有的颜色和纹理特征融合,并通过区域和块划分的方式提取直方图获得图像特征;最后采用不同的距离学习方法在4个数据集上进行行人重识别。实验结果表明,融合后的特征对行人图像具有更好的表述能力,实现了重识别精度的较大提升,验证了方法的有效性。     

基于视觉信息积累的行人重识别网络

在以往的行人重识别方法中,绝大部分的工作集中于图像注意力区域的学习,却忽视了非注意 力区域对最终特征学习的影响,如果在关注图像注意力区域的同时加强非注意力区域的特征学习,可进一步丰 富最终的行人特征,有利于行人身份信息的准确识别。基于此,提出了视觉信息积累网络(VIA Net),该网络整 体采用两分支结构,一个分支倾向于学习图像的全局特征,另一个分支则拓展为多分支结构,通过结合注意力 区域和非注意力区域的特征逐步加强局部特征的学习,实现视觉信息的积累,进一步丰富特征信息。实验结果 表明,在 Market-1501 等行人重识别数据集上,所提出的 VIA Net 网络达到了较高的实验性能;同时,在 In-Shop Clothes Retrieval 数据集上的实验证明：该网络也适用于一般的图像检索任务,具有一定的通用性。     

结合注意力机制和多属性分类的行人再识别

目的 在行人再识别中,经常出现由于行人身体部位被遮挡和行人图像对之间不对齐而导致误判的情况。利用人体固有结构的特性,关注具有显著性特征的行人部件,忽略带有干扰信息的其他部件,有利于判断不同摄像头拍摄的行人对是否为同一人。因此,提出了基于注意力机制和多属性分类的行人再识别方法。方法 在训练阶段,利用改进的ResNet50网络作为基本框架提取特征,随后传递给全局分支和局部分支。在全局分支中,将该特征作为全局特征进行身份和全局属性分类;在局部分支中,按信道展开特征,获取每层响应值最高的点,聚合这些点,分成4个行人部件,计算每个行人部件上显著性特征的权重,并乘以初始特征得到每个部件的总特征。最后将这4个部件的总特征都进行身份和对应属性的分类。在测试阶段,将通过网络提取的部位特征和全局特征串联起来,计算行人间的相似度,从而判断是否为同一人。结果 本文方法引入了Market-1501_attribute和DukeMTMC-attribute数据集中的属性信息,并在Market-1501和DukeMTMC-reid数据集上进行测试,其中rank-1分别达到90.67%和80.2%,mAP分别达到76.65%和62.14%;使用re-ranking算法后,rank-1分别达到92.4%和84.15%,mAP分别达到87.5%和78.41%,相比近年来具有代表性的其他方法,识别率有了极大提升。结论 本文方法通过学习行人属性能更快地聚集行人部件的注意力,而注意力机制又能更好地学习行人部位的显著性特征,从而有效解决了行人被遮挡和不对齐的问题,提高了行人再识别的准确率。     

特征变换和数据集分块的行人比对

目的随着监控摄像头的增多,基于多摄像头的智能分析显得很重要。基于此,提出一种新的基于特征变换和数据集分块的行人比对方法。方法首先提出一种新的基于变换矩阵来消除特征差异的算法。这种算法能够在高维空间中,通过变换矩阵,让某特征向量逼近另一特征向量,从而消除了同一行人特征间的差异。与此同时,还提出一种新的将行人数据集中特征分块的算法,使每个分块中的行人特征具有相似的性质,从而能够共用某个变换矩阵,从而能更好地消除同一行人在不同镜头下的特征差异。结果基于VIPeR数据集和复杂街道场景数据集设计了行人比对实验。实验结果表明,本文的比对方法具有较高的比对准确率,VIPeR数据集(50%训练,50%检测)的Rank1的比对准确率为22%。同时本文设计了特征变换和数据集分块这2个模块的对照实验。实验结果表明,特征变换和数据集分块模块对结果都有提升的效果。结论本文新的行人比对方法通过恰当的特征变换让同一行人在多镜头下的特征互相接近。实验结果表明该方法能够较好地在多镜头下匹配行人。