基于YOLO的多模态加权融合行人检测算法

在夜间光照不足、目标被遮挡导致信息缺失以及行人目标多尺度的情况下,可见光单模态行人检测算法的检测效果较差。为了提高行人检测器的鲁棒性,基于YOLO提出一种可见光与红外光融合的行人检测算法。使用Darknet53作为特征提取网络,分别提取2个模态的多尺度特征。对传统多模态行人检测算法所使用的concat融合方式进行改进,设计结合注意力机制的模态加权融合层,以加强对融合特征图的模态选择。在此基础上,使用多尺度的融合特征进行行人检测。实验结果表明,模态加权融合较concat融合有较大的精度提升,且该算法在夜间光照不足、目标遮挡和目标多尺度情况下检测效果良好,在KAIST数据集上的检测精度优于HalFusion和Fusion RPN+BDT等算法,检测速度也有较大提升。     

基于特征定位与融合的行人重识别算法

行人外观属性是区分行人差异的重要语义信息。行人属性识别在智能视频监控中有着至关重要的作用,可以帮助我们对目标行人进行快速的筛选和检索。在行人重识别任务中,可以利用属性信息得到精细的特征表达,从而提升行人重识别的效果。文中尝试将行人属性识别与行人重识别相结合,寻找一种提高行人重识别性能的方法,进而提出了一种基于特征定位与融合的行人重识别框架。首先,利用多任务学习的方法将行人重识别与属性识别结合,通过修改卷积步长和使用双池化来提升网络模型的性能。其次,为了提高属性特征的表达能力,设计了基于注意力机制的平行空间通道注意力模块,它不仅可以在特征图上定位属性的空间位置,而且还可以有效地挖掘与属性关联度较高的通道特征,同时采用多组平行分支结构减小误差,进一步提高网络模型的性能。最后,利用卷积神经网络设计特征融合模块,将属性特征与行人身份特征进行有效融合,以获得更具鲁棒性和表达力的行人特征。实验在两个常用的行人重识别数据集DukeMTMC-reID和Market-1501上进行,结果表明,所提方法在现有的行人重识别方法中处于领先水平。     

结合注意力机制和多属性分类的行人再识别

目的 在行人再识别中,经常出现由于行人身体部位被遮挡和行人图像对之间不对齐而导致误判的情况。利用人体固有结构的特性,关注具有显著性特征的行人部件,忽略带有干扰信息的其他部件,有利于判断不同摄像头拍摄的行人对是否为同一人。因此,提出了基于注意力机制和多属性分类的行人再识别方法。方法 在训练阶段,利用改进的ResNet50网络作为基本框架提取特征,随后传递给全局分支和局部分支。在全局分支中,将该特征作为全局特征进行身份和全局属性分类;在局部分支中,按信道展开特征,获取每层响应值最高的点,聚合这些点,分成4个行人部件,计算每个行人部件上显著性特征的权重,并乘以初始特征得到每个部件的总特征。最后将这4个部件的总特征都进行身份和对应属性的分类。在测试阶段,将通过网络提取的部位特征和全局特征串联起来,计算行人间的相似度,从而判断是否为同一人。结果 本文方法引入了Market-1501_attribute和DukeMTMC-attribute数据集中的属性信息,并在Market-1501和DukeMTMC-reid数据集上进行测试,其中rank-1分别达到90.67%和80.2%,mAP分别达到76.65%和62.14%;使用re-ranking算法后,rank-1分别达到92.4%和84.15%,mAP分别达到87.5%和78.41%,相比近年来具有代表性的其他方法,识别率有了极大提升。结论 本文方法通过学习行人属性能更快地聚集行人部件的注意力,而注意力机制又能更好地学习行人部位的显著性特征,从而有效解决了行人被遮挡和不对齐的问题,提高了行人再识别的准确率。     

基于注意力机制的行人重识别特征提取方法

针对真实环境中非重叠多摄像头的行人重识别受到不同摄像机场景、视角、光照等因素的影响导致行人重识别精度低的问题,提出一种基于注意力机制的行人重识别特征提取方法。首先,使用随机擦除法对输入的行人图像进行数据增强,提高网络的鲁棒性;然后,通过构建自上而下的注意力机制网络增强空间像素特征的显著性,并将注意力机制网络嵌入ResNet50网络提取整个行人的显著特征;最后,将整个行人的显著特征进行相似性度量并排序得到行人重识别的结果。该注意力机制的行人重识别特征提取方法在Market1501数据集上Rank1达到88.53%,平均精度均值（mAP）为70.70%;在DukeMTMC-reID数据集上Rank1达到77.33%,mAP为59.47%。所提方法在两大行人重识别数据集上性能都有明显提升,具有一定的应用价值。     

Locality guided cross-modal feature aggregation and pixel-level fusion for multispectral pedestrian detection

Multispectral pedestrian detection has received much attention in recent years due to its superiority in detecting targets under adverse lighting/weather conditions. In this paper, we aim to generate highly discriminative multi-modal features by aggregating the human-related clues based on all available samples presented in multispectral images. To this end, we present a novel multispectral pedestrian detector performing locality guided cross-modal feature aggregation and pixel-level detection fusion. Given a number of single bounding boxes covering pedestrians in both modalities, we deploy two segmentation sub-branches to predict the existence of pedestrians on visible and thermal channels. By referring to the important locality information in the reference modality, we perform locality guided cross-modal feature aggregation to learn highly discriminative human-related features in the complementary modality by exploring the clues of all available pedestrians. Moreover, we utilize the obtained spatial locality maps to provide prediction confidence scores in visible and thermal channels and conduct pixel-wise adaptive fusion of detection results in complementary modalities. Extensive experiments demonstrate the effectiveness of our proposed method, outperforming the current state-of-the-art detectors on both KAIST and CVC-14 multispectral pedestrian detection datasets.     

基于跨域特征关联与聚类的无监督行人重识别

行人重识别的目标是利用计算机视觉技术在多个摄像头采集的图像序列或视频中识别目标行人,基于监督学习的行人重识别算法虽然提高了目标的识别性能,但难以解决行人重识别中无标注目标域的域内变化问题,从而导致无标注数据检索准确度低。提出一种基于域自适应的无监督行人重识别算法,其主要由ResNet-50骨干网络、跨域特征提取器和用以存储目标域特征的特征库组成。通过跨域特征提取器融合行人样本在特征图与通道方向的特征,以挖掘不同行人重识别数据集间潜在的特征关联关系,同时为无标注目标数据集样本内的特征关联构建特征库,在无任何标注信息的情况下从一个未知数据集学习判别性特征。实验结果表明,该算法在源域DukeMTMC-reID/Market-1501和目标域Market-1501/DukeMTMC-reID的首位命中率相较于ECN算法分别提高8.9和6.8个百分点,能够提高模型在未知数据集上的泛化能力和无监督跨域行人重识别的准确度。     

基于HPLF的行人再识别

为了更好的挖掘局部特征,提升行人再识别的精度,本文提出了一种利用水平池化提取局部特征的HPLF(Horizontal Pooling for Local Feature)算法,在ResNet-50网络中对输入的联合数据集进行预处理,提取特征,对ResNet-50网络生成的特征图进行水平切割,通过分割的特征图计算两两特征之间的距离,再用难样本三元组损失(Triplet loss with Hard example mining, TriHard loss)来作为局部特征损失函数训练,通过特征图计算全局距离,通过难样本三元组损失来训练,将这两个损失函数加上一个Softmax交叉熵损失函数,联合起来作为总的损失函数进行参数修正.实验结果表明:在Market1501数据集中, mAP (mean Average Precision), Rank-1, Rank-5, Rank-10等性能指标上, HPLF算法比其他算法有3%左右的提升.     

基于智能体的行人路径查找微观模型研究

已有的行人路径查找模型大多数只关心行人群体的行为,而对行人的个体行为和思维方式几乎没有研究。为了更能体现行人的个体行为、思维方式以及行人与环境的交互作用,本文采用智能体和分层路网的思想,首先对行人智能体所处的路网进行分类,其中对机动车路网采用路线轨迹法,对行人采用无轨迹的路网描述;其次赋予行人一些复杂的的规则,并加入吸引点效应、信号灯效应和行人的群效应等约束规则,分析行人与其它行人、机动车、路网以及信号灯等的交互模型,体现行人智能体的自主性、反应性和社会性等;最后初步描述行人智能体复杂的路径查找微观模型全过程。通过对比分析几种典型的行人路径查找模型,表明本文的行人路径查找微观模型更能反映现实生活中的行行人路径查找过程,更能体现行人的智能性。     

融合随机擦除和残差注意力网络的行人重识别

传统的行人重识别方法依赖人工构造视觉特征,容易受到其他外界因素的影响,识别精度低.深度学习模型能自主地提取特征,但随着网络层数的加深会出现梯度消失情况,残差网络能缓解梯度消失问题,但提取出的特征信息未被合理使用.行人部分图像被遮挡是影响行人重识别准确性的另一个重要因素.针对上述问题提出了融合随机擦除和残差注意力网络的行...     

残差密集注意力网络多模态MR图像超分辨率重建

目的 现有医学图像超分辨率方法主要针对单一模态图像进行设计,然而在磁共振成像(magnetic resonance imaging, MRI)技术的诸多应用场合,往往需要采集不同成像参数下的多模态图像。针对单一模态的方法无法利用不同模态图像之间的关联信息,很大程度上限制了重建性能。目前超分辨率网络模型参数量往往较大,导致计算和存储代价较高。为此,本文提出了一个轻量级残差密集注意力网络,以一个统一的网络模型同时实现多模态MR图像的超分辨率重建。方法 首先将不同模态的MR图像堆叠后输入网络,在低分辨率空间中提取共有特征,之后采用设计的残差密集注意力模块进一步精炼特征,再通过一个亚像素卷积层上采样到高分辨率空间,最终分别重建出不同模态的高分辨率图像。结果 本文采用MICCAI (medical image computing and computer assisted intervention) BraTS (brain tumor segmentation) 2019数据集中的T1和T2加权MR图像对网络进行训练和测试,并与8种代表性超分辨率方法进行对比。实验结果表明,本文方法可以取得优于...     

基于多尺度残差注意网络的轻量级行人属性识别算法

近年来,随着深度学习的蓬勃发展,行人属性识别得到了广泛的研究.但是,由于属性复杂且多样化、图像质量差、视角遮挡等困扰,难以捕获图像中的细粒度属性特征,具有很大的挑战性.对此,基于深度学习,提出多尺度残差注意网络(MRAN)用于行人属性识别,以Resnet50为主体架构,使用轻量级的金字塔卷积提供不同内核大小的并行卷积以完成多尺度信息的提取,嵌入注意力模块以关注属性存在的关键区域并挖掘属性内部联系;其次,使用特征金字塔融合策略,更充分地提取和融合多尺度特征.网络结合了多尺度学习、注意力机制和残差学习的思想,使网络提取出更丰富、更细腻的特征.最后,在PETA和PA100K两个数据集上进行实验研究,结果表明,所提出方法优于现有的研究方法.通过消融研究验证整个网络体系结构的3个组成部分的有效性和先进性,且所提出网络具有高准确性和低复杂度的双向优化.     

Learn Robust Pedestrian Representation Within Minimal Modality Discrepancy for Visible-Infrared Person Re-Identification

Visible-infrared person re-identification has attracted extensive attention from the community due to its potential great application prospects in video surveillance. There are huge modality discrepancies between visible and infrared images caused by different imaging mechanisms. Existing studies alleviate modality discrepancies by aligning modality distribution or extracting modality-shared features on the original image. However, they ignore a key solution, i.e., converting visible images to gray images directly, which is efficient and effective to reduce modality discrepancies. In this paper, we transform the cross-modality person re-identification task from visible-infrared images to gray-infrared images, which is named as the minimal modality discrepancy. In addition, we propose a pyramid feature integration network (PFINet) which mines the discriminative refined features of pedestrian images and fuses high-level and semantically strong features to build a robust pedestrian representation. Specifically, PFINet first performs the feature extraction from concrete to abstract and the top-down semantic transfer to obtain multi-scale feature maps. Second, the multi-scale feature maps are inputted to the discriminative-region response module to emphasize the identity-discriminative regions by the spatial attention mechanism. Finally, the pedestrian representation is obtained by the feature integration. Extensive experiments demonstrate the effectiveness of PFINet which achieves the rank-1 accuracy of 81.95% and mAP of 74.49% on the multi-all evaluation mode of the SYSU-MM01 dataset.     

面向复杂道路场景小尺度行人的实时检测算法

复杂道路场景中小尺度行人目标检测漏检率高,实时性较差,提出了一种针对小尺度行人检测的增强算法,对RFB（Receptive Field Block）网络从特征提取网络结构及损失函数两方面进行改进：通过反向融合的方式将多尺度特征图通道间Shuffle后的深层特征组多级融合到浅层,并在采用更浅层特征的同时加入改进RFB模块及Normalization层,充分利用多尺度特征层间的信息进行小尺度行人检测。损失函数采用基于交并比和中心点距离解决评测与回归损失函数评价指标不等价问题。实验结果表明,该算法在Caltech行人数据集上总体行人和小尺度行人的漏检率分别降低了4.7个百分点与9.0个百分点,单张图片平均检测时间为36 ms,性能高于同类算法。     

基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。     

基于多尺度混合注意力与度量融合的小样本行人重识别

针对行人重识别中可用行人图像不足导致的小样本问题,以双相似网络为基础,提出一种基于多尺度混合注意力与度量融合的小样本行人重识别方法.首先,将多尺度混合注意力机制引入特征嵌入模块,即在不同尺度层内的特征提取中引入空间注意力,在不同尺度层间的特征融合中引入通道注意力,实现更具判别力的小样本行人特征提取;然后,在度量模块,提出欧氏距离与余弦距离融合的双重度量方法,实现行人特征的空间绝对距离和方向差异的综合度量,提升行人相似性度量的可靠性;接着,采用双重度量方式和关系度量方式,分别获得行人特征的相似度得分;最后,通过加权融合获得联合度量得分,构建联合损失实现网络的整体优化和训练.在Market-mini、Duke-mini和MSMT17-mini三个小型数据集上的实验表明,所提出方法在5-way 1-shot和5-way 5-shot两种模式下的平均识别准确率分别达到90.40%和95.69%、86.77%和94.96%、71.08%和82.63%,与其他小样本学习算法相比,识别性能有较大提升.     

YOLO-Person：道路区域行人检测

城市道路场景下的行人目标尺寸变化大,并且人群密集容易引起遮挡问题,增加了行人检测难度。为了提高城市道路区域行人检测的准确性和实时性,更好应对驾驶场景的实际需求,对You Only Look Once（YOLO）方法进行改进。原YOLO模型分为行人特征提取阶段和行人坐标回归阶段,将浅层特征与深层特征多尺度融合,增加骨架网络的特征提取效果;添加注意力机制,在特征融合后加入空间通道增强模块,并且将GIoU损失引入网络训练过程,提高对遮挡目标的识别能力;结合行人尺寸,提出CrossYOLO层对网络宽度进行调整,加快了模型运算速度。在Caltech行人基准数据集下进行验证实验,结果表明YOLO-Person模型与原YOLO以及其他流行方法相比,对小目标和遮挡目标误检率更低,并且速度更快,具有一定的实际应用价值。     

Fast multi-feature pedestrian detection algorithm based on histogram of oriented gradient using discrete wavelet transform

A convergence between a natural user interface (NUI) and advanced driver assistance system is considered as a next generation technology. This kind of interfacing system technology becomes more popular in driver assistance system of automobile. Especially, pedestrian detection is an important cue for intelligent vehicles and interactive driver assistance system. In this paper, we propose a pedestrian detection feature and technique by combining histogram of the oriented gradient (HOG) and discrete wavelet transform (DWT). In the method, the magnitude of motion is used to set region of interest (ROI) for improving detection speed. Then, we employ multi-feature for a pedestrian detection based on the HOG and DWT. In last stage, to classify whether a candidate window contains a pedestrian or not, the designed multi-feature is learned by using the training data with the support vector machine (SVM) mechanism. Experimental results show that the proposed algorithm increases the speed-up factor of 27.21 % by comparing to the existing method using the original HOG feature.     

基于通道信息对齐的素描行人重识别

素描行人重识别任务要求在彩色图像库中寻找与给定素描图像相同身份的行人.由于行人的素描图像与彩色图像之间的姿态、视角等信息不同,两个模态在相同的空间位置往往具有不同的语义信息,导致所提取的特征不具备鲁棒性.以往的研究着重于行人不随着模态信息变化的特征提取,而忽略了不同模态间语义不对齐的问题,进而导致最终编码的特征受到摄像机视角、人体姿态或者遮挡等干扰,不利于图像的匹配.对此,提出基于通道信息对齐的素描行人重识别模型.其中:语义信息一致性学习模块引导网络在特征的相同通道上形成固定编码的语义信息,降低语义信息不对齐所带来的影响;差异性特征注意力模块辅助网络编码具有差异性的身份相关信息,并设计空间差异正则化项以防止网络仅关注局部特征.两个模块互相配合,强化网络对语义信息的感知和对齐.所提出的方法在具挑战性数据集Sketch Re-ID、QMUL-ShoeV2上的rank-1和mAP分别达到60.0%和59.3%、33.5%和46.1%,从而验证了所提出方法的有效性.     

面向拥挤行人检测的CA-YOLOv5

针对YOLOv5在拥挤行人检测任务中漏检率高、特征融合不充分等问题,提出了CA-YOLOv5行人检测算法。针对原主干网络对细粒度特征融合不充分的问题,采用Res2Block重建YOLOv5的主干网络,以提升网络的细粒度特征融合能力,提高检测精度。针对数据集目标尺度变化大的问题,引入coordinate attention（CA）模块增强感受野,增强模型对目标的精确定位能力。针对FPN结构在特征融合时导致多尺度特征表达能力下降的问题,提出特征增强模块,以增强多尺度特征的表达能力。通过结构重参数化的方法减少模型的计算量与参数量,加快目标检测速度。针对行人检测任务中普遍存在的拥挤行人问题,提出EViT模块,增强模型关注局部信息的能力,提高检测精度。实验证明,在拥挤行人检测任务中,CA-YOLOv5的检测精度达到84.86%,相较于原算法提高了3.75%,检测速度可以达到51?FPS,具有较好的检测精度与实时性。因此,CA-YOLOv5可以更好地应用于实时行人检测任务中。     

融合注意力机制与权重聚类学习的行人再识别

行人图像在行人再识别中常通过行人检测器自动检测获得,不仅包含行人主体,还包含一些干扰信息（比如,背景、遮挡等）。在基于注意力机制的行人再识别中,增强了对具有显著性特征行人部件的关注,削弱了对带有干扰信息部件的关注,有利于提取更具辨别力的行人特征表示。在深度学习中,卷积神经网络通过对特征映射重新赋权值,得到注意力特征,提出了一种新颖的基于聚类的全局注意力模块（cluster-based global attention module,CGAM）。在CGAM中,将注意力权重学习过程重新考虑为聚类中心学习过程,将特征映射中的空间位置点视为特征节点,通过聚类算法得到每个特征节点的重要分数并进行归一化后作为注意力权重。利用改进的Resnet50作为基本框架,嵌入注意力模块,得到注意力网络,仅使用了全局分支,具有简单高效特点。综上,基于聚类的注意力设计不仅充分利用了特征节点之间的成对相关性,而且挖掘了丰富的全局结构信息,得到一组更可信的注意力权重。实验结果表明,提出的行人再识别算法在Market-1501和DukeMTMC-reID两个流行数据集上均有显著的效果。