基于胶囊网络的跨域行人再识别

行人再识别是在不同环境下再次对特定行人进行检索,近几年来受到国内外学者的广泛关注。目前行人再识别算法多采用局部特征与全局特征相结合的方法,在单一数据集上的训练和测试取得了非常好的成绩,但是在跨域测试中成绩并不理想,泛化能力较低。提出一种基于深度胶囊网络的跨域行人再识别方法,通过视角分类训练任务,模型可以学习图像中行人的有效特征,这些特征可以直接迁移到行人再识别任务中,缓解了行人再识别泛化能力不足的问题。实验结果表明,本文模型优于目前所有无监督学习行人再识别方法,具有良好泛化能力。     

基于深度学习和度量学习的行人再识别算法

摄像机拍摄同一个行人受到光照、行为姿态等因素的影响,导致其外观出现明显的差别,为行人再识别研究带来一定的挑战.依托深度及度量学习提出行人再识别方法.基于深度学习对图像进行去雾处理,通过局部最大特征及距离度量学习完成特征提取以及距离计算.根据实验发现,所使用的行人再识别算法非常有效,具有较高的识别率和匹配率.     

融合生成对抗网络和姿态估计的视频行人再识别方法

随着国家对社会公共安全的日益重视,无重叠视域监控系统已大规模的普及.行人再识别任务通过匹配不同视域摄像机下的行人目标,在当今环境下显得尤为重要.由于深度学习依赖大数据解决过拟合的特性,针对当前视频行人再识别数据量较小和学习特征单一的问题,我们提出了一种基于视频的改进行人再识别方法,该方法通过生成对抗网络去生成视频帧序列来增加样本数量和加入了行人关节点的特征信息去提升模型效率.实验结果表明,本文提出的改进方法可以有效地提高公开数据集的识别率,在PRID2011,iLIDS-VID数据集上进行实验,Rank 1分别达到了80.2%和66.3%.     

基于局部深度匹配的行人再识别

针对行人再识别精度低的难题进行研究,提出了一种新的基于分块匹配的行人再识别方法。首先,引入带人体结构信息的人体DPM模型对行人外观进行分割,得到的带语义信息的身体部件作为匹配识别的基本单元;其次,基于深度神经网络模型提取各部件的深度特征作为匹配依据;再次,基于余弦距离判断各身体部件与目标行人对应部件的相似性;最后,融合所有身体部件的识别结果得到最终的再识别结果。实验结果表明,跟已有方法相比,本文方法具有更好的鲁棒性,在识别精度上有较明显的优势。     

基于多尺度特征迁移学习的步态识别研究

为了解决行人步态数据集样本量较少、单特征或多特征融合的步态识别算法特征描述不足的问题,提出了一种基于多尺度特征深度迁移学习的行人步态识别方法。该算法步骤包括：改进VGG-16网络,去除网络中最后一个最大池化层（Maxpool Layer）,融合空间金字塔池化网络结构（SPP）获取行人步态能量图（GEI）的多尺度信息,利用Imagenet数据集预训练此网络模型,将提取特征能力迁移至行人步态识别网络模型中,采用行人步态样本集微调网络,修改网络中的全连接层参数,应用于行人步态识别研究。该方法在中科院自动化研究所的CASIA-B步态数据集上的识别精度达到了95.7%,与单一步态特征的步态识别方法以及融合多种步态特征的识别方法相比,步态识别率有了明显提升,表明该方法有更好的识别性能。     

基于去相关高精度分类网络与重排序的行人再识别

目前基于深度学习的行人再识别方法通常将分类网络作为基础网络进行训练,再用其提取行人图片的深度特征,最后在欧氏距离度量下计算特征间相似度并建立排序表。因此,分类网络的特征表达能力将影响到再识别的准确率,而特征表达之间的相关性也会使相似度计算存在误差。针对这些问题,采用精度更高的分类网络作为行人再识别的特征提取网络,并使用奇异值分解来降低权向量之间的相关性,优化深度学习过程。此外,使用基于K互近邻的方法,对候选库中需要检索的图片进行重排序,也将进一步提升再识别的精度。在Market-1501数据集上的实验结果表明,该方法能显著提高行人再识别的准确性。     

基于时空共现模式的视觉行人再识别EI北大核心CSCD

基于视频图像的视觉行人再识别是指利用计算机视觉技术关联非重叠域摄像头网络下的相同行人,在视频安防和商业客流分析中具有重要应用.目前视觉行人再识别技术已经取得了相当不错的进展,但依旧面临很多挑战,比如摄像机的拍摄视角不同、遮挡现象和光照变化等所导致的行人表观变化和匹配不准确问题.为了克服单纯视觉匹配困难问题,本文提出一种结合行人表观特征跟行人时空共现模式的行人再识别方法.所提方法利用目标行人的邻域行人分布信息来辅助行人相似度计算,有效地利用时空上下文信息来加强视觉行人再识别.在行人再识别两个权威公开数据集Market-1501和DukeMTMC-ReID上的实验验证了所提方法的有效性.     

基于辨识特征后融合的行人再识别

跨摄像机行人因光照、视角、姿态的差异,会使其外观变化显著,给行人再识别的研究带来严峻挑战。基于多特征融合和距离度量学习技术,提出辨识特征后融合的算法,并将其应用于行人再识别中。首先,对跨摄像机行人样本图像分别提取局部最大出现频次(LOMO)特征和基于显著颜色名称的颜色描述子(SCNCD)特征,表示跨摄像机行人的外观;然后,基于所提取的LOMO和SCNCD特征,分别去训练跨视图二次判别分析(XQDA)距离度量学习模型,分别获取跨摄像机每对行人每个特征优化的距离。最后,应用最小最大标准化距离融合的算法,获取跨摄像机行人最终的距离,用于跨摄像机行人的匹配。在具有挑战的VIPeR和PRID450S两个公开数据集上进行实验,实验结果表明所提出的行人再识别算法有效地提高了行人再识别的准确率。     

基于深度迁移学习的烟雾识别方法

针对传统的基于传感器和图像特征的烟雾识别方法易被外部环境干扰且识别场景单一,从而造成烟雾识别精度较低,而基于深度学习的识别方法对数据量要求较高,对于烟雾数据缺失或数据来源受限的情况模型识别能力较弱的问题,提出一种基于深度迁移学习的烟雾识别方法。将ImageNet数据集作为源数据,利用VGG-16模型进行基于同构数据下的特征迁移。首先,将所有的图像数据进行预处理,对每张图像作随机变换（随机旋转、剪切、翻转等）;其次,引入VGG-16网络,将其卷积层特征进行迁移,并连接预先使用烟雾数据在VGG-16网络中训练过的全连接层;进而构建出基于迁移学习的深度网络,从而训练得到烟雾识别模型。利用公开数据集以及真实场景烟雾图像进行实验验证,实验结果表明,和现有主流烟雾图像识别方法相比,所提方法有较高的烟雾识别率,实验精度达96%以上。     

基于深度学习的行人重识别综述

行人重识别(Re-ID)是计算机视觉领域的热点问题,主要研究的是“如何关联位于不同物理位置的不同摄像机捕获到的特定人员的问题”。传统的行人Re-ID方法主要基于底层特征如局部描述符、颜色直方图和人体姿势的提取。近几年,针对行人遮挡和姿势不对齐等传统方法所遗留问题,业内提出了基于区域、注意力机制、姿势和生成对抗性网络(GAN)等深度学习的行人Re-ID方法,实验结果得到较明显的提高。故对深度学习在行人Re-ID中的研究进行了总结和分类,区别于以前的综述,将行人重识别方法分成四大类来讨论。首先,通过区域、注意力、姿势和GAN四类方法来综述基于深度学习的行人Re-ID方法;然后,分析这些方法在主流数据集上的mAP和Rank-1指标性能表现,结果显示基于深度学习的方法可以增强局部特征之间的联系并缩小域间隙,从而减少模型过拟合;最后,展望了行人Re-ID方法研究的发展方向。     

Domain adaptation with structural knowledge transfer learning for person re-identification

Multimedia Tools and Applications - Recently, supervised person re-identification (Re-ID) algorithms have achieved great performance on benchmarks. However, it highly depends on labeled training...     

Self-attention mechanism in person re-identification models

In recent years, person re-identification based on video has become a hot topic in the field of person re-identification. The self-attention mechanism can improve the ability of deep neural networks in computer vision tasks such as image classification, image segmentation and natural language processing tasks. In order to verify whether the self-attention can improve the performance or not in person re-identification tasks, this paper applies two self-attention mechanisms, non-local attention and recurrent criss-cross attention to person re-identification model, and experiments are conducted on Market-1501, DukeMTMC-reID and MSMT17 person re-identification datasets. The results show that the self-attention mechanism can improve the accuracy of the person re-identification model. The accuracy is higher when the self-attention module is inserted into the convolutional layers of the re-identification network.

     

Improved person re-identification based on saliency and semantic parsing with deep neural network models

Given a video or an image of a person acquired from a camera, person re-identification is the process of retrieving all instances of the same person from videos or images taken from a different camera with non-overlapping view. This task has applications in various fields, such as surveillance, forensics, robotics, multimedia. In this paper, we present a novel framework, named Saliency-Semantic Parsing Re-Identification (SSP-ReID), for taking advantage of the capabilities of both clues: saliency and semantic parsing maps, to guide a backbone convolutional neural network (CNN) to learn complementary representations that improves the results over the original backbones. The insight of fusing multiple clues is based on specific scenarios in which one response is better than another, thus favoring the combination of them to increase performance. Due to its definition, our framework can be easily applied to a wide variety of networks and, in contrast to other competitive methods, our training process follows simple and standard protocols. We present extensive evaluation of our approach through five backbones and three benchmarks. Experimental results demonstrate the effectiveness of our person re-identification framework. In addition, we combine our framework with re-ranking techniques and compare it against state-of-the-art approaches, achieving competitive results.     

两路互补对称CNN结构的行人再识别

目的 行人再识别的任务是研究如何在海量监控数据中准确地识别出某个特定场合中曾经出现过的人,已成为公共安全领域中一项新的且具有挑战性的研究课题。其挑战在于,行人在图像中有较大的姿态、视角、光照等变化,这些复杂的变化会严重影响行人再识别性能。近年来,以卷积神经网络（CNN）为代表的深度学习方法在计算机视觉领域取得了巨大的成功,也带动了行人再识别领域的相关研究。CNN有效地克服了行人变化,取得较高的准确率。然而,由于行人再识别数据集中行人标注量小,利用现有的一路CNN模型,其训练过程并不够充分,影响了深度学习模型的鉴别能力。为了解决上述问题,通过对网络结构进行改进,提出一种两路互补对称的CNN结构用于行人再识别任务。方法 本文方法每次同时输入两路样本,其中每路样本之间具有互补特性,此时在有限的训练样本下,输入的组合会更加多样化,CNN模型的训练过程更加丰富。结果 对本文提出的方法在两个公开的大规模数据集（Market-1501和DukeMTMC-reID）上进行实验评估,相比于基线方法有稳定的提升,相比于现存的其他一些方法,其结果也有竞争力。在Market-1501数据集上,1选识别正确率和平均精度均值分别达到了73.25%和48.44%。在DukeMTMC-reID数据集上,1选识别正确率和平均精度均值分别达到了63.02%和41.15%。结论 本文提出的两路互补对称CNN结构的行人再识别方法,能够在现有的有限训练样本下,更加充分地训练CNN模型,学习得到鉴别能力更强的深度学习模型,从而有效地提升行人再识别的性能。     

基于特征定位与融合的行人重识别算法

行人外观属性是区分行人差异的重要语义信息。行人属性识别在智能视频监控中有着至关重要的作用,可以帮助我们对目标行人进行快速的筛选和检索。在行人重识别任务中,可以利用属性信息得到精细的特征表达,从而提升行人重识别的效果。文中尝试将行人属性识别与行人重识别相结合,寻找一种提高行人重识别性能的方法,进而提出了一种基于特征定位与融合的行人重识别框架。首先,利用多任务学习的方法将行人重识别与属性识别结合,通过修改卷积步长和使用双池化来提升网络模型的性能。其次,为了提高属性特征的表达能力,设计了基于注意力机制的平行空间通道注意力模块,它不仅可以在特征图上定位属性的空间位置,而且还可以有效地挖掘与属性关联度较高的通道特征,同时采用多组平行分支结构减小误差,进一步提高网络模型的性能。最后,利用卷积神经网络设计特征融合模块,将属性特征与行人身份特征进行有效融合,以获得更具鲁棒性和表达力的行人特征。实验在两个常用的行人重识别数据集DukeMTMC-reID和Market-1501上进行,结果表明,所提方法在现有的行人重识别方法中处于领先水平。     

基于UV贴图优化人体特征的行人重识别

现有行人重识别研究大多关注人体在二维平面的特征表示,而在现实社会中,人体以一种对称的三维结构存在,三维人体结构相较二维平面像素含有更多的体型、姿态等特征,仅研究二维平面上的行人特征限制了计算机对人体特征的理解。利用人体是一种三维对称的刚体结构这一先验事实,提出一种基于UV贴图优化人体特征的行人重识别方法。对图像底库进行数据预处理,通过数据增广方法生成更多的训练数据,对预处理后的图片进行特征提取,将特征矩阵解耦为姿态、色彩、形状以及视角参数,利用参数信息调整预定义的人体模型以得到重构后的三维人体模型。将重构后的三维人体模型转化为UV贴图,即将人体特征从三维空间映射到二维平面,同时对UV贴图进行优化从而丰富人体特征。使用UV贴图训练三维行人重识别网络模型,利用后处理的方法对输出结果做进一步优化,以得到最终的行人重识别结果。在Market-1501数据集上的实验结果表明,该方法的rank-1准确率和mAP分别达到94.76%和82.53%,相较OG-Net模型分别提升13.82%和22.56%。     

改进型深度迁移学习的跨镜行人追踪算法

跨镜行人追踪是计算机视觉和视频监控公共安全体系构建等领域的重要课题。伴随大规模数据集的发展和深度学习网络的广泛研究,深度学习在跨镜行人追踪问题中取得了良好效果。然而在应用中,除了监控视频自身的不同摄像头、不同视角引起的不同视觉表象变化外,面向跨镜行人追踪的整体数据集偏小,具有标记的训练数据样本量更小,从而制约了基于深度学习的跨镜行人追踪效果。提出了改进型深度迁移学习的跨镜行人追踪算法,将在大数据集上训练好的成熟模型进行微调并迁移到目标数据集上,结合目标数据进行优化,使其能更好地针对新数据集做特征提取。在模型训练过程中,通过改进三元组损失函数,拉近相同样本之间的距离,加大不同样本之间的距离,同时设定正样本之间的最大距离阈值,从而保证特征空间生成的簇不会太大,利于模型的优化。该算法减少了深度学习训练模型的时间,避免了小数据集上数据量不足等缺点,提高了跨镜行人追踪的准确度。在五个基准数据集上的跨镜行人追踪对比实验显示,改进算法取得了良好效果。     

融合BOW模型的多特征子空间行人重识别算法

针对目前行人重识别算法在目标外观特征和度量算法方面的问题,提出一种融合BOW模型的多特征子空间行人重识别算法。在行人图像上采用2-D高斯模板将图像背景弱化,然后提取BOW特征描述子和YUV+HSV颜色特征描述子,并将其融合组成最终的特征描述子。在相似性度量方面,采用在原始特征空间学习一个子空间,并在该子空间学习测度矩阵的方法进行相似性度量。在VIPeR和CUHK01两个数据集上的实验结果表明,提出的算法能够明显地提高行人重识别率。     

结合MASP和语义分割的双链路行人重识别方法

行人重识别是通过不同的摄像机识别同一个人。由于人的姿势多变,背景杂乱以及拍摄角度不同等,提取强大的行人特征成为一个有挑战性的任务。为了提取良好的行人特征表示,提出了一种结合MASP与语义分割的双链路行人重识别模型。该方法对网络不同深度的特征进行采样,不同深度的特征图具有不同的表达能力,使网络可以学习到行人身上更加细粒度的特征。上层链路针对网络过深导致行人信息丢失的问题,提出了MASP模块,对浅层特征进行采样,然后与高级特征连接,对深浅层级特征交融,增加特征的多样性。下层链路基于语义分割结果,对提取的中间层行人特征映射,得出语义部位特征。在测试阶段,将全局特征与语义部位特征结合生成多层次特征,加强模型的表征能力。在Market-1501和DukeMTMC-reID两个数据集上与其他方法的对比以及消融实验表明,提出的结合MASP与语义分割的双链路重识别模型有效提升行人重识别性能。