使用聚合通道特征的嵌入式实时人体头肩检测

目的 头肩检测由于抗遮挡能力强、计算需求低,常用于复杂场景中的人体检测。针对嵌入式头肩检测中常用的运动检测和手工模型匹配方法检测精度较低、对不同姿态和人体外观适应性较差的问题,提出了使用聚合通道特征的嵌入式实时人体头肩检测方法。方法 首先分析多种行人检测与人体姿态数据集,从中生成多姿态、多视角的人体头肩样本集;然后基于图像的聚合通道特征,使用AdaBoost算法通过多个阶段的训练,得到基于增强决策树的头肩图像分类器;接下来,在快速特征金字塔算法的基础上,针对ARM-Linux平台,利用多核并行和单指令多数据流技术,加速图像特征金字塔的计算;最后,进行多线程的滑动窗口检测,利用头肩图像分类器识别每个检测窗口,并通过非极大值抑制（NMS）算法优化检测结果。结果 重新标注了INRIA验证数据集中的头肩样本,采用本文训练得到的头肩图像分类器进行检测,通过样本漏检率、每图片平均误检率以及ROC（receiver operating characteristic）曲线评估检测效果。对INRIA数据集中高度≥50像素的头肩目标的对数平均漏检率为16.61%。此外,采集了不同场景中多种姿态、视角下的头肩图像,以验证分类器的适应性,结果表明该分类器能够良好检测多姿态、多视角、受遮挡以及不同光照情况下的头肩目标。但由于检测器感受野局限于头肩区域,对少量疑似头肩样本的图像区域存在误检测。在嵌入式平台（树莓派3B）中,经过优化的头肩检测程序,对640×480像素分辨率的图像,特征计算耗时约213 ms;对单个包含正样本的检测窗口,分类耗时约2 ms。整体检测效率能够满足视频流实时检测的需求。结论 本文基于聚合通道特征进行人体头肩检测,采用种类丰富、标注准确的头肩训练样本,使用AdaBoost算法学习头肩图像的聚合通道特征,得到的头肩图像分类器适应性强,硬件性能要求低,能够良好检测多视角、多姿态的人体头肩图像,并具备在嵌入式平台上实时检测视频流的能力,应用场景广泛。     

基于稀疏表示的两级级联快速行人检测算法

针对复杂背景下的行人检测问题,提出一种两级级联的快速行人检测算法。第一级采用竖直方向的边缘对称特征和基于行人先验知识的弱分类器,排除大部分非行人区域。第二级采用梯度方向直方图特征和基于LC-KSVD字典学习的稀疏表示分类算法,对剩余区域进行精确检测。实验结果表明,该算法在保证检测精度的同时缩短了行人检测的时间,并且对遮挡情况有较好的鲁棒性。在INRIA数据库上每幅图像平均检测时间仅为69 ms,对数平均漏检率为38%,较CENTRIST+C4算法和HOG+SVM算法的漏检率有所降低,并提升了检测速度。     

基于多尺度上下文信息的遮挡行人检测

在遮挡场景下的行人检测一直是计算机视觉中的一个棘手问题,由于被遮挡的行人尺度差异大,可见率低,通常会给检测带来极大的挑战。针对这一问题,提出了一种针对行人遮挡检测的模型结构,对基于anchor-free的行人检测方法进行改进。设计了一种提取多尺度上下文信息的结构,通过级联多个不同扩张率的卷积层,使用密集连接实现多尺度特征共享,提取各个区域的上下文信息来解决遮挡问题。此外,为了提高特征的可分辨性,使用通道注意力机制对多尺度特征融合进行自适应的调整。实验结果表明,该方法在Caltech行人数据集的遮挡子集上实现了41.73%的MR?2,性能优于其他检测算法。     

结合纹理与轮廓特征的多通道行人检测算法

针对在复杂场景下,聚合通道特征（ACF）的行人检测算法存在检测精度较低、误检率较高的问题,提出一种结合纹理和轮廓特征的多通道行人检测算法。算法由训练分类器和检测两部分组成。在训练阶段,首先提取ACF特征、局部二值模式（LBP）纹理特征和ST（Sketch Tokens）轮廓特征,然后对提取的三类特征均采用Real AdaBoost分类器进行训练;在检测阶段,应用了级联检测的思想,初期使用ACF分类器处理所有实例,保留下来的少数实例应用复杂的LBP及ST分类器进行逐次筛选。实验采用INRIA数据集对算法进行仿真,该算法的平均对数漏检率为13.32%,与ACF算法相比平均对数漏检率降低了3.73个百分点。实验结果表明LBP特征与ST特征能有对ACF特征进行信息互补,从而在复杂场景下去掉部分误判,提高了行人检测的精度,同时应用级联检测保证了多特征算法的计算效率。     

景区行人检测YOLOv5-GSPE算法模型研究与实现

针对景区内高密度行人检测中遮挡与小目标行人漏检率高、模型复杂度高、计算量大的问题,提出一种YOLOv5-GSPE改进算法模型,在保证精度的同时改善检测效果,降低模型复杂度。改进算法模型通过GhostConv优化主干网络中常规卷积(Conv)降低模型复杂度,并使用空洞卷积改善SPPF模块中池化操作带来的特征信息丢失,提升模型检测时效性,增强主干网络特征提取。提出一种增强的特征金字塔网络—PrFPN,使用同层连接进一步丰富原始输入特征的融合,减少特征提取过程中的特征损失。将引入正态分布计算优化后的EIoU损失函数作为边界框回归损失函数,提高边界框定位精度。实验结果表明,YOLOv5-GSPE算法模型对比YOLOv5s模型在保证检测时效性的情况下整体复杂度降低了12.51%,基于Pedestrian测试集的平均精度提升4.05%,基于WiderPerson测试集的平均精度提升3.28%,并降低了行人遮挡及小目标漏检率,改善了检测效果,该模型的可行性与有效性得到验证。     

改进星型级联可形变部件模型的行人检测

目的 行人检测是计算机视觉和模式识别领域的研究热点与难点,由于经典的可形变部件模型(DPM)检测速度太慢,引入PCA降维的星型级联检测可形变部件模型(casDPM)相比较于DPM模型检测速度虽然有了很大提升,但在应用于行人检测时,出现检测精度较低、平均对数漏检率较高的情况,为了更加准确地对行人进行检测,提出了一种改进casDPM模型的行人检测方法。方法 首先利用对象度量方法获取目标候选区域,结合目标得分信息得到casDPM模型低分检测区域的置信度,在设定的阈值上保留检测窗口;然后针对casDPM模型原有非极大值抑制(Nms)算法只利用单一的面积信息,造成误检数较高的情况,提出了利用检测窗口的得分信息进行改进;最后将两种方法结合起来,提出了融合的cas-WNms-BING模型。结果 采用本文方法在INRIA数据集上进行检测,实验结果表明该方法对于行人形变、背景特征复杂及遮挡现象具有较强的鲁棒性,相比casDPM模型,本文提出的方法平均精度(AP)可以提高1.74%,平均对数漏检率可以降低4.45%。结论 提出一种改进星型级联可形变部件模型,取得一定的研究成果,在复杂的背景下,能够有效地进行行人检测,主观视觉感受和客观实验评价指标都表明该方法可以有效提升模型行人检测效果。但是,星型级联可形变部件模型训练及检测效率仍有待提高,需进一步对模型存在的一些局限性进行深入研究。     

多尺度特征融合重建的行人检测方法

行人在众多场景中都存在多尺度变化问题,严重影响检测器的精度,为此设计卷积特征重建和通道注意力两种模块来增强对多尺度行人的检测效果。以原始输入的多尺度特征为基础融合重建多个特征金字塔,然后融合多个特征金字塔中的相同尺度特征,并学习每层特征的通道注意力权值来增加有效通道层权重,由此得到的特征才用于最后的检测。将这两种模块集成到RFBnet模型中,并改进模型损失函数用以优化对遮挡行人的检测效果。在Caltech-USA、INRIA和ETH三个数据集上的测试结果表明,新方法的准确率高于RFBnet和MS-CNN等一些多尺度方法,在不同尺度行人的测试子集上达到了最优的检测效果。     

迭代Faster R-CNN的密集行人检测

行人检测是利用计算机视觉技术判断图像或者视频序列中是否存在行人并给予精确定位。针对行人检测在密集场景下普遍存在的行人间遮挡问题，提出基于迭代Faster R-CNN的密集行人检测模型，利用一种IterDet迭代方案对Faster R-CNN进行改进，有效解决非极大值抑制（NMS）算法及其改进在选择精确度和召回率之间平衡点的难题。同时利用递归金字塔结构（RFP）进一步增强模型提取特征能力。在具有挑战性的WiderPerson和CrowdHuman数据集上进行训练和验证，实验结果表明，该模型相比Faster R-CNN在精度和召回率显著提升的同时，漏检率也明显降低。尤其在WiderPerson数据集上召回率、精度、漏检率等性能指标分别达到了97.65%、91.29%、40.43%的SOTA结果。     

基于跨尺度特征融合的泵站安全帽检测方法

为应对泵站场景下设备和人员之间目标被遮挡及远距离小目标对泵站重点区域安全帽佩戴自动监管带来的挑战,提出了一种融合注意力机制和跨尺度特征融合的安全帽佩戴检测算法,以克服在远距离、有遮挡场景下安全帽检测准确度低的问题。通过采集泵站监控视频数据构建泵站场景安全帽数据集,在特征提取网络中加入注意力机制模块,使得模型更关注于小目标的通道信息;同时增加检测层使得特征融合时能结合多级特征,并使用柔和非极大值抑制(Soft Non-Manimum Suppression, Soft-NMS)和完全交并比(Complete Intersection over Union, CIoU)算法进行改进以减少遮挡目标漏检情况。在自建数据集进行试验,结果表明改进后的算法平均准确率达到93.5%,与其他目标检测算法相比精度均有所提升,证明该方法在泵站重点区域场景安全帽检测任务中具有良好的性能。     

夜间多场景的邻近感知实时行人检测算法

目的 行人检测是自动驾驶、监控安防等领域的关键技术，为了解决目标检测算法在夜间复杂场景以及遮挡情况下造成的行人检测精度降低的问题，本文提出将低光增强算法（low-light image enhancement）添加到夜间行人检测任务中进行联合训练，并引入邻近感知模块（nearby objects hallucinator,NOH），提出了一种改进的夜间监控场景下的邻近感知行人检测算法（nearby-aware surveillance pedestrian detection algorithm,NSPDet）。方法 为了提升夜间检测行人的准确率，在基线模型中加入低光增强模块（zero-reference deep curve estimation,Zero-DCE）。为了降低密集人群、遮挡造成的漏检、误检，利用NOH建模周围行人分布信息，提出了行人检测头（PedestrianHead）。为了减少模型参数，提升推理速度，本文利用深度可分离卷积将模型进行轻量化。结果 在NightSurveillance数据集上进行3组消融实验，相比基线模型YOLOX(exceeding YOLO (yo...     

一种改进聚合通道特征的行人检测方法

行人检测是计算机视觉和模式识别领域的研究热点与难点,针对聚合通道特征（Aggregate channel feature,ACF）算法应用于行人检测时,出现检测精度较低、平均对数漏检率（Log-average miss rate,LAMR）较高的情况,提出一种改进的ACF行人检测算法。首先结合objectness方法对ACF算法低得分区域进行进一步验证,可以在一定程度上减少算法的误检数;其次结合检测窗口的得分及位置信息,对非极大值抑制算法（Non-maximum suppression,Nms）进行改进,平均精度（Average precision,AP）提升了0.41%,LAMR降低了1.49%;最后采用星型可形变部件模型（Star-cascade DPM,casDPM）对一定阈值下的得分检测窗口进行级联检测,AP提升了0.65%,LAMR降低了2.06%。在INRIA数据集上实验表明,满足实时检测的条件下,极大地降低了误检数,具有较好的行人检测效果。     

自动驾驶场景的尺度感知实时行人检测

目的 行人检测是目标检测中的一个基准问题,在自动驾驶等场景有着较大的实用价值,在路径规划和智能避障方面发挥着重要作用。受限于现实的算法功耗和运行效率,在自动驾驶场景下行人检测存在检测速度不佳、遮挡行人检测精度不足和小尺度行人漏检率高等问题,在保证实时性的前提下设计一种适合行人检测的算法,是一项挑战性的工作。方法 本文旨在解决自动驾驶场景中耗时长、行人遮挡和小尺度行人检测结果精度低的问题,提出了一种尺度注意力并行检测算法（scale-aware and efficient object detection,Scale-aware EfficientDet）：在特征提取与检测中使用了EfficientDet的主干网络,保证算法效率和功耗的平衡;在行人遮挡方面,为了提高模型对遮挡现象的检测精度,引入了可以增强行人与其他物体之间特征差异的损失函数;在提高小目标行人检测精度方面,采用scale-aware双路网络算法来增加对小目标行人的检测精度。结果 本文选择Caltech行人数据集作为对比数据集,选取YOLO（you only look once）、YOLOv3、SA-FastRCNN（scale-aware fast region-based convolutional neural network）等算法进行对比,在运行效率方面,本文算法在连续输入单帧图像的情况下达到了35帧/s,多图像输入时达到了70帧/s的工作效率;在模型精度测试中,本文算法也略胜一筹。本文算法应用于2020年中国智能汽车大赛中,在安全避障环节皆获得满分。结论 本文设计的尺度感知的行人检测算法,在EfficientDet高性能检测器的基础上,通过结合损失函数、scale-aware双路子网络的改进,进一步提升了本文检测器的鲁棒性。     

基于YOLO-Pose的城市街景小目标行人姿态估计算法

现有的姿态估计算法在城市街景中对小目标行人的检测效果不佳。针对该问题,提出一种基于YOLO-Pose的小目标行人姿态估计算法YOLO-Pose-CBAM。通过引入CBAM注意力机制模块,在不增加过多计算量的前提下,增强网络聚焦小目标行人区域的能力,提升算法对小目标行人的敏感度,同时在主干网络中使用4个不同尺寸的检测头,丰富算法对图片中不同大小行人的检测手段;在骨干网络和颈部之间架设2条跨层级联通道,提升浅层网络与深层网络之间的特征融合能力,进一步增强信息交流,降低小目标行人漏检率;引入SIoU重新定义边界框回归的定位损失函数,加快训练的收敛速度,提高检测精度;采用k-means++算法代替k-means算法对数据集中标注的锚框进行聚类,避免聚类中心初始化时导致的局部最优解问题,从而选择出更适合检测小目标行人的锚框。对比实验结果表明,在小目标行人Wider Keypoints数据集上,所提算法相较于YOLO-Pose和YOLOv7-Pose在平均精度上分别提升了4.6和6.5个百分比。     

改进YOLOv3网络结构的遮挡行人检测算法

针对YOLOv3算法在监控视频行人检测中对遮挡目标漏检率较高的问题,文中提出改进YOLOv3网络结构的遮挡行人检测算法.首先在网络全连接层引入空间金字塔池化网络,增强网络的多尺度特征融合能力.然后采用网络剪枝的方式,精简网络冗余结构,避免网络层数加深导致的退化和过拟合问题,同时减少参数量.在走廊行人数据集上进行多尺度训练,获得最优的权重模型.实验表明,文中方法在平均准确率和检测速度上都有所提升.     

基于改进YOLOv7-tiny的户外行人检测算法研究

在行人检测的高密度交通场景中,检测算法通常会漏掉被遮挡和远处的模糊行人,同时无法兼顾检测的精度和速度。针对这些问题,基于YOLOv7-tiny提出一种改进的户外行人检测算法。该算法引入SENet注意力机制,抑制了不相关的信息,以此提高特征图表达信息的能力,同时增强了对行人目标特征的提取。为了更好地识别目标的边缘和重叠情况,提高回归精度,在损失函数中用SIoU代替CIoU,提升了遮挡情况下的检测率。根据在WiderPerson数据集上的实验,在保证检测速度的前提下,对比YOLOv7-tiny检测算法,平均检测精度提升了2个百分点。实验结果表明,经过改进的算法可以显著提高检测性能。     

改进的Cascade RCNN行人检测算法研究

在复杂路况下的行人检测中,行人尺寸变化大,导致小尺寸行人漏检率高,增加了行人检测的难度.为了降低行人检测漏检率,提高行人检测精度,在级联区域卷积神经网络(cascade regional convolutional neural network,Cascade RCNN)的基础上,将浅层特征与深层特征融合,进行深层特征...     

面向复杂道路场景小尺度行人的实时检测算法

复杂道路场景中小尺度行人目标检测漏检率高,实时性较差,提出了一种针对小尺度行人检测的增强算法,对RFB（Receptive Field Block）网络从特征提取网络结构及损失函数两方面进行改进：通过反向融合的方式将多尺度特征图通道间Shuffle后的深层特征组多级融合到浅层,并在采用更浅层特征的同时加入改进RFB模块及Normalization层,充分利用多尺度特征层间的信息进行小尺度行人检测。损失函数采用基于交并比和中心点距离解决评测与回归损失函数评价指标不等价问题。实验结果表明,该算法在Caltech行人数据集上总体行人和小尺度行人的漏检率分别降低了4.7个百分点与9.0个百分点,单张图片平均检测时间为36 ms,性能高于同类算法。     

级联式多尺度行人检测算法研究

针对多尺度行人检测精度不够高的问题,提出了一种级联式多尺度行人检测算法,使用矩形卷积核提取行人特征,根据行人轮廓特征设计候选区域宽高比例;并提出自适应损失函数,使网络聚焦于困难样本,有效缓解了长尾效应在训练网络时带来的不利因素,提高了网络泛化能力。实验结果表明:所提算法对于Caltech数据集中的大尺度行人,漏检率比Adapt Faster Rcnn算法降低了1. 36%;对于中小尺度行人,漏检率比Adapt Faster Rcnn算法下降8. 82%。     

基于运动特征及位置估计的行人检测算法

根据行人运动的特点和行人在图像中位置与身高的对应关系,提出了一种结合运动特征与位置估计的行人检测算法。提取运动特征和聚合通道特征（ACF）,将提取的特征放到Real Adaboost分类器里进行训练,并对行人可能存在的位置建立评估模型;在检测阶段,通过分类器确定行人的候选区域,然后采用非极大值抑制算法去除重叠窗口,最后对行人候选区域应用位置评估模型进一步判断,以此排除可能的非行人目标。实验采用Caltech数据集对算法进行仿真,该算法的平均对数漏检率为27.12%,与ACF算法的相比降低了5.9个百分点。实验表明运动特征在视频检测中能够与静态特征进行信息互补,同时行人的位置估计在摄像机固定的情况下,具有一定的判断能力。     

基于YOLO的多模态加权融合行人检测算法

在夜间光照不足、目标被遮挡导致信息缺失以及行人目标多尺度的情况下,可见光单模态行人检测算法的检测效果较差。为了提高行人检测器的鲁棒性,基于YOLO提出一种可见光与红外光融合的行人检测算法。使用Darknet53作为特征提取网络,分别提取2个模态的多尺度特征。对传统多模态行人检测算法所使用的concat融合方式进行改进,设计结合注意力机制的模态加权融合层,以加强对融合特征图的模态选择。在此基础上,使用多尺度的融合特征进行行人检测。实验结果表明,模态加权融合较concat融合有较大的精度提升,且该算法在夜间光照不足、目标遮挡和目标多尺度情况下检测效果良好,在KAIST数据集上的检测精度优于HalFusion和Fusion RPN+BDT等算法,检测速度也有较大提升。