多分支融合局部特征的行人重识别算法

大部分结合深度学习的行人重识别算法主要以单分支的网络结构为主,且大多利用图片的全局特征信息,这样易错失关键行人信息,导致度量学习效果、算法精度下降。因此,为使网络获取到更多的关键行人信息,减少对行人局部、细节信息的错失,加强网络对行人特征的学习。基于ResNet-50的骨干网络,采取多分支的网络结构设计,综合考虑训练难易、运算量,选择融合三个独立分支的结构设计：随机擦除分支、全局学习分支、局部学习分支,并在此基础上根据实验数据进行调整优化,最后再结合最小二乘法分配损失函数权重使模型更具鲁棒性,实验结果表明,三个分支具有互补性,使用融合分支特征做算法测试时,相比基础的单分支、多分支网络,该算法使得行人重识别精度提升。     

基于时序多尺度互补特征的视频行人重识别

视频行人重识别在监控场景中起着非常重要的作用.但是,大多数现有方法没有充分利用行人视频序列的时空信息.具体来说,这些方法以相同的分辨率和网络结构处理每一帧图像,造成连续帧特征的高度相似.此外,现有方法通常通过引入各种复杂的操作提高精度,过多的计算开销使其不利于真实场景的部署.针对上述问题,本文提出了一个时序多尺度互补网络,旨在高效地为视频的连续帧提取互补的特征.具体来说,时序多尺度互补网络包含多个具有不同输入分辨率的分支.其中,高分辨率分支处理原始分辨率帧,用于保留行人的细节线索;低分辨率分支处理以不同降采样率得到的低分辨率帧,用于捕捉更全局的行人信息.通过将连续帧输入到不同分支中,连续帧能关注不同粒度的空间区域,生成互补的特征.进一步,设计了一个多分支批量归一化层,保证了训练时分支之间的互补性.最后,提出一个跨分支融合模块,将低分辨率分支的全局信息逐步传播到高分辨分支中,得到一个融合了多尺度全局粗粒度和局部细粒度互补信息的特征.在iLIDS-VID,MARS和LS-VID三个数据集上的实验显示,本文提出的方法达到了比目前最好方法更好的性能,例如,在LS-VID上提升了4.5%mAP和...     

基于双分支特征拼接的行人重识别

针对不同监控视觉的拍摄,行人重识别任务存在类内（同一行人）前后变化大被误判、类间（相似行人）模糊造成区分度低的问题,提出一种双分支特征拼接的行人重识别方法（Dual-branch Feature Concatenation Network,DFCNet）。该方法通过对网络的深度特征进行拼接,使特征信息互补,获得辨别性特征,并用批归一化层代替基础网络全局平均池化层后的全连接层,使用标签平滑交叉熵损失函数训练网络,解决类内变化大及类间模糊造成提取特征辨别性差的问题。为验证所建议方法的有效性,在Market1501、DukeMTMC-reID公开数据集上进行验证,其中在Market1501数据集上,Rank-1和mAP指标分别达到95.8%和94.3%。结果表明所建议方法在处理类内误判与类间难区分问题上具有良好性能,且识别精度优于对比的流行算法。     

多尺度多特征融合的行人重识别模型EI北大核心CSCD

为了解决行人重识别中行人特征表达不充分、忽视相邻区域的语义相关性等问题,提出了多尺度多特征融合的行人重识别模型.首先,通过多分支结构获取包含不同信息的特征图;其次,通过组合相邻的局部区域,强调局部特征之间的语义相关性;最后,结合最大池化和平均池化的优势,从不同的方向学习更加全面的特征信息.分别在Market-1501,DukeMTMC-reID以及MSMT17数据集上进行实验,结果表明,在光照不同、拍摄角度不同等环境下,文中模型的mAP分别达到了88.40%,78.50%,59.20%,能够有效地提取行人特征,识别精度较高.     

基于显著性多尺度特征协作融合的行人重识别方法

由于背景信息复杂、遮挡等因素的影响,现有基于局部特征的行人重识别方法所提取的特征不具有辨别力和鲁棒性,从而导致重识别精度较低,针对该问题,提出一种基于显著性检测与多尺度特征协作融合的SMC-ReID方法.利用显著性检测提取行人中具有判别力的特征区域,融合显著性特征与全局特征并完成不同尺度的切块,将上述不同尺度的特征进行...     

基于多分支注意网络与相似度学习策略的无监督行人重识别

无监督行人重识别的挑战在于学习没有真实标签的行人的判别性特征。为增强网络对行人特征的表达能力,进一步从空间和通道维度上提取更丰富的特征信息,提出了一种基于多分支注意网络的行人重识别特征提取方法。该方法通过捕获空间维度和通道维度上不同分支之间的交互信息,能够学习到更具判别性的行人特征表示。此外,针对噪声标签会对聚类质心产生干扰的问题,提出了相似度学习策略(SLS)。该策略先计算每个聚类中样本特征之间的相似性,然后选取相似性分数最高的特征向量所对应的样本进行对比学习,有效地缓解了聚类噪声导致的累积训练误差。实验结果表明,和无监督场景下的自步对比学习方法(SPCL)相比,在Market-1501,DukeMTMC-reID和MSMT17等3个数据集上的rank-1准确度分别提升了4.6%,3.3%和16.3%,显著地提高了无监督行人重识别的检索精度。     

用于行人重识别的多类型特征网络

近年来,注意机制在行人重识别任务中效果较优,但是不同类型的注意机制(如空间注意、自注意等)联合使用的效果仍然有待提高.因此,文中首先提出改进型的卷积块注意模型(CBAM-Pro),再提出多类型特征网络模型.对CBAM-Pro与自注意机制的集成提取不同关注域的特征,同时引入不同划分粒度的局部特征,联合进行行人重识别.在现有的通用基准数据集上的实验验证文中模型的有效性与可靠性.     

结合多尺度特征学习与特征对齐的行人重识别

利用卷积神经网络对行人图像提取一个简单的全局特征,在复杂的行人重识别任务中无法获得令人满意的结果。局部特征学习的方式有助于获取更丰富的人体特征,但往往需要图像中的人体具有良好的空间对齐,而且,将人体各部分特征输入到独立的分支学习局部信息,忽略了人体各部分特征间的相关性,限制模型的性能提升。在此背景下,提出了一种新的多尺度特征学习算法,结合全局与局部特征学习得到更好的行人表示,提升复杂场景下模型的识别能力。对骨干网络不同深度输出的行人特征图,通过特征对齐模块对其执行空间变换,实现行人特征在空间上的矫正和对齐,进一步增强模型的泛化性能。在公开的大型行人重识别数据集上,与当前一些流行的方法进行了比较,验证了所提方法的有效性。     

多尺度局部特征选择的行人重识别算法

针对行人重识别问题中人体姿态变化、对齐及部分遮挡等情况,提出了一种基于深度学习的局部区域选择和局部特征提取算法。算法首先利用残差卷积神经网络获取基本特征,然后利用多尺度的滑动窗口提取不同候选局部区域特征,并按照覆盖区域进行分组,每组选择一个最优局部特征,并融合整体特征得到最终特征表达。实验结果表明,通过该方法提取的局部特征具有更好的表达能力,提高了行人重识别的精确度。     

换装行人重识别研究进展

行人重识别旨在建立目标行人在多个无交叉覆盖监控区域间的身份联系,在智慧城市、司法侦查和监控安全等领域具有重要应用价值。传统行人重识别方法针对短时间跨度场景,依赖行人外观特征的稳定不变性,旨在克服光照差异、视角变化和物体遮挡等挑战。与之不同,换装行人重识别针对长时间跨度场景,除受限于上述挑战还面临换装带来的外观变化问题,是近几年的一个研究难点和热点。围绕换装行人重识别,本文从数据集和解决方法两个方面综述国内外研究进展,探讨面临的挑战和难点。首先,梳理并比较了当前针对换装行人重识别的数据集,从采集方式、行人及样本数量等方面分析其挑战性和面临的局限性。然后,在简单回顾换装行人重识别发展历史的基础上,将其归纳为基于非视觉传感器的方法和基于视觉相机的方法两类。针对基于非视觉传感器的方法,介绍了深度传感器、射频信号等在换装行人重识别中的应用。针对基于视觉相机的方法,详细阐述了基于显式特征设计与提取的方法、基于特征解耦的方法和基于隐式数据驱动自适应学习的方法。在此基础上,探讨了当前换装行人重识别面临的问题并展望未来的发展趋势,旨在为相关研究提供参考。     

跨模态异构行人再识别的研究进展

同构行人再识别技术研究基于可见光图像的行人检索问题,但无法完全应对复杂多变真实场景,大量研究工作开始探索基于可见光图像与其它异构数据之间的行人检索问题,即跨模态异构行人再识别.该研究相比同构行人再识别,更具挑战性.文中首先简述跨模态异构行人再识别的概念及与一般行人再识别的区别,再针对文本与图像、图像与视频、跨分辨率图像、红外图像与可见光图像、深度图与可见光图像、素描与可见光图像这6类场景,归纳整理和分析跨模态异构行人再识别的代表性工作、常用数据集及一些算法的性能表现.最后,总结目前整体研究进展,展望未来发展趋势.     

基于局部异质协同双路网络的跨模态行人重识别

针对现有跨模态行人重识别方法忽略行人的局部特征及模态间的相互协同的问题,文中提出基于局部异质协同双路网络的跨模态行人重识别方法.首先,通过双路网络提取不同模态的全局特征进行局部精细化,挖掘行人的结构化局部信息.然后,通过标签和预测信息建立跨模态局部信息之间的关联,进行协同自适应的跨模态融合,使不同模态的特征之间相互补充,获得富有判别力的特征.在RegDB、SYSU-MM01跨模态行人重识别数据集上的实验验证文中方法的有效性.     

基于融合关系学习网络的行人重识别

基于图卷积神经网络的行人重识别方法面临两个问题:1)在对特征映射构图时,图节点表达的语义信息不够显著;2)选择特征块构图时仅依赖特征块间的相对距离,忽略内容相似性.为了解决这两个问题,文中提出融合关系学习网络的行人重识别.利用注意力机制,使用最大注意力模型,使最重要的特征块更显著,赋予其语义信息.融合相似性度量,从距离和内容两方面对特征块进行相似性计算,度量方式更全面.该算法能够综合地选取近邻特征块,为图卷积神经网络提供更好的输入图结构,使图卷积神经网络提取更鲁棒的结构关系特征.在iLIDS-VID、MARS数据集上的实验验证文中网络的有效性.     

正则化独立测度矩阵的行人再识别*

针对当前基于距离测度学习的行人再识别算法中因训练样本少而出现的过拟合问题,提出正则化独立测度矩阵的行人再识别算法.该算法首先在4个不同的颜色空间单独学习测度矩阵,然后分别对相应的测度矩阵进行正则化,测试样本通过正则化后的测度矩阵进行相似性度量,最后结合相似性度量结果得到最终相似度.实验表明,相比原有算法,文中算法在性能上有进一步提升,并可改善训练样本少时出现的过拟合问题.     

多置信度重排序的行人再识别算法*

针对行人再识别中相似性度量误差引起的识别效果较差的问题,提出多置信度重排序的行人再识别算法,通过对再排序过程中测试样本的置信度进行评估,提高行人再识别的准确性.首先对目标样本及测试样本依据深度学习网络ResNet50获得描述特征.然后对目标样本与测试样本之间的相似性进行初始排序,对相似排序得到的样本构建相似样本集合,获得每个类别的聚类中心和样本距离聚类中心的最小、最大、均值距离,设置3个置信度不同的置信区间.最后使用Jaccard距离对目标样本与测试样本的相似度进行重排序.在标准测试数据集上的实验表明文中算法的有效性.     

基于特征定位与融合的行人重识别算法

行人外观属性是区分行人差异的重要语义信息。行人属性识别在智能视频监控中有着至关重要的作用,可以帮助我们对目标行人进行快速的筛选和检索。在行人重识别任务中,可以利用属性信息得到精细的特征表达,从而提升行人重识别的效果。文中尝试将行人属性识别与行人重识别相结合,寻找一种提高行人重识别性能的方法,进而提出了一种基于特征定位与融合的行人重识别框架。首先,利用多任务学习的方法将行人重识别与属性识别结合,通过修改卷积步长和使用双池化来提升网络模型的性能。其次,为了提高属性特征的表达能力,设计了基于注意力机制的平行空间通道注意力模块,它不仅可以在特征图上定位属性的空间位置,而且还可以有效地挖掘与属性关联度较高的通道特征,同时采用多组平行分支结构减小误差,进一步提高网络模型的性能。最后,利用卷积神经网络设计特征融合模块,将属性特征与行人身份特征进行有效融合,以获得更具鲁棒性和表达力的行人特征。实验在两个常用的行人重识别数据集DukeMTMC-reID和Market-1501上进行,结果表明,所提方法在现有的行人重识别方法中处于领先水平。     

基于多支路残差深度网络的跨视角步态识别方法

针对基于卷积神经网络的步态识别模型不能充分利用局部细粒度信息的问题,提出基于多支路残差深度网络的跨视角步态识别方法.将多支路网络引入卷积神经网络中,分别提取步态轮廓序列图中不同粒度的特征,并利用残差学习和多尺度特征融合技术,增强网络的特征学习能力.在公开步态数据集CASIA-B和OU-MVLP上的实验证实文中方法的识别...     

基于增强空谱特征网络的空间感知协同表示算法

高光谱图像具有高维度、带间相关性较高、样本数量较少等诸多问题,直接利用表示学习算法对高光谱图像进行分类会导致严重的维数灾难.对于高光谱图像,不是所有的光谱带都可用于特定的分类任务.因此,文中提出基于增强空谱特征网络的空间感知协同表示算法.依据高光谱图像内在的低维流形构建基于空谱特征的分层网络.利用训练的网络对高维数据进...     

基于深度神经网络的语种识别*

语音段的有效表示方法存在易混淆语种和短时语音段识别率较低等问题,为满足不同时长和方言的识别要求,提出基于深度神经网络不同层的有效语音段表示方法.采用含有中间瓶颈层的深层神经网络作为前端特征提取,综合利用该网络的输出层和中间瓶颈层输出结果,得到不同形式的语音段表示并用于语种识别.在美国国家标准技术局语种识别评测2009年和2011年阿拉伯方言数据集上验证了方法的有效性.