基于深度学习和颜色特征的行人跟踪算法

针对行人跟踪算法中因行人遮挡而导致行人跟踪准确率低、跟踪速度慢的问题,论文提出了一种基于深度学习和颜色特征的行人跟踪算法。首先利用yolov5目标检测算法检测行人,得到带有行人框的视频帧,同时利用检测框坐标信息判断行人之间是否存在遮挡,若有遮挡,则把遮挡区域像素设为0,分割出非遮挡区域,将非遮挡区域转化为HSV颜色空间,量化HSV分量,构造颜色特征直方图,并表示为一维向量G。其次,以第一帧行人检测框坐标为基础构建行人跟踪模型,初始化跟踪对象,并根据行人质心变化预测行人位置。在公开数据集MOT-16数据集上测试,MOTA为49.78%,相比于Sort和DeepSort算法分别提高1.51%和0.33%,在IDF1分数上分别高于Sort和DeepSort算法7.07%和3.46%。跟踪速度比DeepSort提升24%。     

多层卷积特征的真实场景下行人检测研究

针对真实场景下的行人检测方法存在漏检、误检率高,以及小尺寸目标检测精度低等问题,提出了一种基于改进SSD网络的行人检测模型（PDIS）。PDIS通过引出更底层的输出特征图改进了原始SSD网络模型,并采用卷积神经网络不同层输出的抽象特征对行人目标分别做检测,融合多层检测结果,提升了小目标行人的检测性能。此外,针对数据集样本多样性能有效地提升检测算法的泛化能力,本文采集了不同光照、姿态、遮挡等复杂场景下的行人图像,对背景比较复杂的INRIA行人数据集进行了扩充,在扩增的行人数据集上训练的PDIS模型,提高了在真实场景下的行人检测精度。实验表明:PDIS在INRIA测试集上测试结果达到93.8%的准确率,漏检率低至7.4%。     

融合检测和跟踪的实时人脸跟踪

目的 在实时人脸跟踪过程中,因光照变化、目标被遮挡以及跟踪时间长等因素,导致的误差累积都会影响系统的整体性能。针对这些问题,提出一种融合检测和跟踪技术的方法,其中包含了检测、控制和跟踪3个模块(简称DCT)。方法 在检测模块中,利用AdaBoost算法提取人脸的相关信息,并将信息传递给跟踪模块进行跟踪处理;在跟踪模块中,采用在线随机蕨和SURF(speeded up robust features)算法对目标进行跟踪。同时,在每次检测到目标之后,会通过控制模块对当前跟踪目标准确性进行判断。结果 选取国际标准数据组并与LBP+Camshift+Kalman滤波算法、SEMI算法、TLD(tracking-learning-detection)算法比较,实验结果表明,DCT方法在目标发生尺度较大变化、目标遮挡、旋转、形变以及光照发生变化时都具有良好的跟踪识别效果,DCT方法识别准确率在95%以上,平均误识别率和漏识别率分别为0.86%和0.78%。结论 DCT方法具有消除误差累积,跟踪失败后自动恢复等特点,同时可以消除环境中光照、遮挡和仿射变换的影响并满足系统跟踪的实时性要求,运用于视频人脸跟踪系统中能够提高系统的实时性及鲁棒性。     

基于改进KCF的移动机器人视觉行人跟踪系统

针对视觉跟踪机器人在跟踪目标被大面积遮挡和短暂丢失的场景下容易跟踪失败的问题,提出了一种基于改进核相关滤波(kernelized correlation filter, KCF)的移动机器人视觉行人跟踪系统。在传统KCF算法的基础上引入平均峰值相关能量(average peak correlation energy, APCE),结合APCE响应值和最大响应值判断目标丢失情况,并加入了两级重检测机制。在OTB2013数据集的目标丢失(out of view, OV)场景中,改进算法的成功率和精度分别达到0.626和0.592像素,比传统KCF算法分别提升了8.7%和10.9%,有效提高了算法在目标遮挡和短暂丢失场景下的跟踪鲁棒性。在有行人干扰的场景中进行跟踪实验,实验结果表明所提视觉行人跟踪系统能够稳定跟踪目标行人。     

基于YOLO轻量化的多模态行人检测算法

针对低光照环境下行人检测精度低和模型参数量大的问题,基于YOLO框架,提出一种轻量化的多模态行人检测算法EF-DEM-YOLO。采用轻量的ES-MobileNet作为主干特征提取网络,并在该网络中引入ECA和SE-ECA注意力机制模块,增强重要的通道特征,提高小目标行人的检测精度。在颈部网络中设计了基于深度可分离卷积的DBL模块,进一步缩减模型的参数量。另外,为了提高低光照条件下行人的检测精度,利用可见光模态和红外模态在不同光照条件下特征互补的特点,提出了基于图像熵的可见光与红外模态加权融合方法,并设计了融合模块EWF。相比与基准方法,该算法对于不同光照条件下的行人目标,模型的mAP提高55.5%,MR降低85.9%,模型的推理速度达到33.4帧/秒,并且均优于其他经典的目标检测算法,为边缘计算和低光照场景下的行人目标的实时检测提供了可能。     

改进YOLOv7与DeepSORT的佩戴口罩行人跟踪

针对视频序列中因脸部遮挡、漏检而造成的无法正确判断行人是否佩戴口罩的问题,提出一种基于改进YOLOv7与DeepSORT的佩戴口罩行人跟踪算法。该算法将口罩检测、行人检测与跟踪相结合,通过在YOLOv7的主干网络中添加注意力机制,增加浅层特征图,加强网络对小目标的感知能力,提高口罩检测与行人检测精度;帧内关系模块利用匈牙利算法进行帧内目标关联,对行人进行口罩佩戴标记;将方向差因素加入到DeepSORT算法的关联代价中,消除跟踪轨迹的历史预测方向和新检测速度方向不一致问题;使用改进的DeepSORT算法对行人进行跟踪,并对每条轨迹进行口罩佩戴标记更新,实现对佩戴口罩与未佩戴口罩行人的跟踪。实验结果表明,改进的YOLOv7网络平均检测精度mAP50相比原始算法提升了3.83个百分点;在MOT16数据集上,该算法的跟踪准确性MOTA相较DeepSORT算法提高了17.1个百分点,跟踪精度MOTP提高了2.6个百分点。与检测算法相比,提出的算法能够跟踪到更多的行人是否佩戴了口罩,具有更好的效果。     

基于可见光-热红外视觉监控的车间工人跌倒检测算法

为了解决工厂车间视觉监控存在噪声干扰、光线变化、目标遮挡等问题,提出一种基于多模态视觉监控的工人跌倒检测算法.首先,采用热像仪和可见光相机获取车间内全天候监控图像,结合自适应滤波模型对图像进行降噪处理,以抑制环境噪声对监控图像的干扰;然后,构建一种改进的人体姿态特征提取网络,通过融合串联时间帧合并模块和位姿残差模块,以简化目标检测的特征图尺度,实现监控图像中工人区域被部分遮挡时姿态的实时、可靠预测;最后,设计人体轴线倾角、人体外接矩形框长宽比以及双膝盖点移动速度作为工人跌倒判别性特征,进而实现车间内工人的跌倒判别.在自建数据集和公开数据集上对所提出方法进行验证,实验结果表明,所提出算法的跌倒检测精度分别为95.6%和96.3%,与对比算法相比具有更好的准确性和实时性.     

基于YOLO的多模态加权融合行人检测算法

在夜间光照不足、目标被遮挡导致信息缺失以及行人目标多尺度的情况下,可见光单模态行人检测算法的检测效果较差。为了提高行人检测器的鲁棒性,基于YOLO提出一种可见光与红外光融合的行人检测算法。使用Darknet53作为特征提取网络,分别提取2个模态的多尺度特征。对传统多模态行人检测算法所使用的concat融合方式进行改进,设计结合注意力机制的模态加权融合层,以加强对融合特征图的模态选择。在此基础上,使用多尺度的融合特征进行行人检测。实验结果表明,模态加权融合较concat融合有较大的精度提升,且该算法在夜间光照不足、目标遮挡和目标多尺度情况下检测效果良好,在KAIST数据集上的检测精度优于HalFusion和Fusion RPN+BDT等算法,检测速度也有较大提升。     

AF-RetinaNet:一种基于自适应融合与特征细化的微小行人检测算法

为解决目前目标检测算法在微小行人的识别与定位过程中准确率较低的问题,提高微小行人检测能力,提出一种基于自适应融合与特征细化的微小行人检测算法AF-RetinaNet.首先,将特征增强模块与ResNet相结合构建特征提取网络,采用并行结构获得增强特征;其次,使用上下文自适应学习模块,通过获得目标上下文的特征信息,从而关注相似特征的差异性,缓解误检问题;最后,构造具有图像超分思想的特征细化模块,对目标特征信息进行放大重构,优化小目标的特征表达能力,缓解漏检问题.在TinyPerson数据集上,AF-RetinaNet算法的检测精度达到56.78%,漏检率达到85.38%.与基于RetinaNet算法的研究基准相比,检测精度提高5.57%,漏检率降低3.67%.实验结果表明,该模型能有效提高对微小行人的检测和识别精度.     

基于深度学习的口罩佩戴检测与跟踪

佩戴口罩可以有效预防病毒的传播,为减少通过人工方式检查口罩佩戴情况所消耗的大量人力资源,提出一种基于深度学习的口罩佩戴检测与跟踪方法,该方法分为检测和跟踪两个模块。检测模块在YOLOv3网络的基础上引入空间金字塔池化结构,实现不同尺度的特征融合;然后将损失函数改为CIoU损失,减少回归误差,提升检测精度,为后续跟踪模块提供良好的条件。跟踪模块采用多目标跟踪算法Deep SORT,对检测到的目标进行实时跟踪,有效防止重复检测,改善被遮挡目标的跟踪效果。测试结果表明,该方法的检测速度为38 f/s,平均精度值达到为85.23%,相比原始YOLOv3算法提高了4%,能达到实时检测口罩佩戴情况的效果。     

自动驾驶场景的尺度感知实时行人检测

目的 行人检测是目标检测中的一个基准问题,在自动驾驶等场景有着较大的实用价值,在路径规划和智能避障方面发挥着重要作用。受限于现实的算法功耗和运行效率,在自动驾驶场景下行人检测存在检测速度不佳、遮挡行人检测精度不足和小尺度行人漏检率高等问题,在保证实时性的前提下设计一种适合行人检测的算法,是一项挑战性的工作。方法 本文旨在解决自动驾驶场景中耗时长、行人遮挡和小尺度行人检测结果精度低的问题,提出了一种尺度注意力并行检测算法（scale-aware and efficient object detection,Scale-aware EfficientDet）：在特征提取与检测中使用了EfficientDet的主干网络,保证算法效率和功耗的平衡;在行人遮挡方面,为了提高模型对遮挡现象的检测精度,引入了可以增强行人与其他物体之间特征差异的损失函数;在提高小目标行人检测精度方面,采用scale-aware双路网络算法来增加对小目标行人的检测精度。结果 本文选择Caltech行人数据集作为对比数据集,选取YOLO（you only look once）、YOLOv3、SA-FastRCNN（scale-aware fast region-based convolutional neural network）等算法进行对比,在运行效率方面,本文算法在连续输入单帧图像的情况下达到了35帧/s,多图像输入时达到了70帧/s的工作效率;在模型精度测试中,本文算法也略胜一筹。本文算法应用于2020年中国智能汽车大赛中,在安全避障环节皆获得满分。结论 本文设计的尺度感知的行人检测算法,在EfficientDet高性能检测器的基础上,通过结合损失函数、scale-aware双路子网络的改进,进一步提升了本文检测器的鲁棒性。     

改进的卷积神经网络行人检测方法

提出基于YOLOV3和DenseNet相结合的轻量化行人检测算法。加入HSV图像处理模块强化行人特征,利用卷积神经网络提取行人特征,通过k均值聚类算法筛选预测框,借鉴特征金字塔的思想做高低层特征融合和预测,利用Dense Block结构对网络轻量化进行完善,在国际广泛使用的行人数据集上进行一系列实验。实验结果表明,检测速度比现有的优秀目标检测模型YOLOV3提升了8倍,模型大小为YOLOV3的1/107,所提方法在测试集上的实时性和准确率都有所提高。     

面向拥挤行人检测的CA-YOLOv5

针对YOLOv5在拥挤行人检测任务中漏检率高、特征融合不充分等问题,提出了CA-YOLOv5行人检测算法。针对原主干网络对细粒度特征融合不充分的问题,采用Res2Block重建YOLOv5的主干网络,以提升网络的细粒度特征融合能力,提高检测精度。针对数据集目标尺度变化大的问题,引入coordinate attention（CA）模块增强感受野,增强模型对目标的精确定位能力。针对FPN结构在特征融合时导致多尺度特征表达能力下降的问题,提出特征增强模块,以增强多尺度特征的表达能力。通过结构重参数化的方法减少模型的计算量与参数量,加快目标检测速度。针对行人检测任务中普遍存在的拥挤行人问题,提出EViT模块,增强模型关注局部信息的能力,提高检测精度。实验证明,在拥挤行人检测任务中,CA-YOLOv5的检测精度达到84.86%,相较于原算法提高了3.75%,检测速度可以达到51?FPS,具有较好的检测精度与实时性。因此,CA-YOLOv5可以更好地应用于实时行人检测任务中。     

改进RFBnet网络的船只目标检测方法

针对目前舰船目标检测中,多目标情况下的舰船目标很容易被多目标遮挡,造成舰船目标漏检、分类错误等问题,提出了一种基于改进RFBnet（I-RFBnet）的自然图像目标检测方法。使用池化特征融合模块（PFF）和反卷积特征融合模块（DFF）进行特征融合,形成新的六个有效特征层。提出一种跨步长卷积方式来提取特征单元在原图中的关心区域信息,设计了融入注意力机制的膨胀卷积模块（dilate convolutions block,DB）和新的前三个有效特征层再次进行特征融合。引入聚焦分类损失函数解决训练过程中正负样本分布不均衡的问题;最后通过对规模船只检测数据集SeaShips训练后,保存其模型。实验结果表明：改进后的算法检测效果良好,尤其在多目标遮挡下的小目标效果显著。平均精度均值为96.26%,比改进前的算法提高了4.74个百分点,帧率达到26?FPS（frame per second）,满足实时检测的需求。     

改进YOLOV3实时交通标志检测算法

交通标志检测是智能驾驶任务中的重要一环.为了满足检测精度和实时检测的要求,基于YOLOV3提出一种改进的实时交通标志检测算法.采用跨阶段局部网络作为特征提取模块,优化梯度信息,减少推理计算量;同时以路径聚合网络替代特征金字塔网络,在解决多尺度特征融合的同时,保留了更加准确的目标空间信息,提高目标检测精度;并且引入完备交...     

适合车载边缘计算的拥挤行人检测算法

针对目前车载计算单元的计算资源和计算能力有限,不能运行网络层次较深的目标检测算法,设计了一种轻量化的网络模型用于对拥挤行人场景的检测,将Darknet53骨干网络替换为GhostNet,通过引入线性计算获得与普通卷积相似的特征图来减少计算资源消耗;引入空间金字塔池化模块实现多尺度融合,加强特征提取;提出使用更加高效的搜索机制改进卷积块注意力机制模块,联合分类网络AlexNet对自适应搜索广度k值进行选取,进一步提高网络性能;采用Grad-CAM算法将网络模型实现热力图可视化来对注意力机制进行分析;引入CIOU损失函数实现真实框和预测值在中心点上的拟合,以此来加速模型收敛和实现更加精确的定位。研究结果表明：改进后的网络在WiderPerson行人检测数据集上行人类别查准率达到75.35%,相比于改进前的模型在行人查准率和平均查准率上分别提高了5.76个百分点和3.28个百分点。在Visdrone数据集上,改进后的网络平均查准率达到35.6%,在基本接近于YOLOv3的基础上,每秒检测图片的数量可以达到60张,相较于传统的单阶段检测算法,检测速率最高提升了52.1%,能满足移动设备以及车载...     

基于改进YOLOv4的小目标行人检测算法

行人检测在无人驾驶环境感知领域具有重要应用。现有行人检测算法多数只关注普通大小的行人目标,忽略了小目标行人特征信息过少的问题,从而造成检测精度低、应用于嵌入式设备中实时性不高等情况。针对该问题,提出一种小目标行人检测算法YOLOv4-DBF。引用深度可分离卷积代替YOLOv4算法中的传统卷积,以降低模型的参数量和计算量,提升检测速度和算法实时性。在YOLOv4骨干网络中的特征融合部分引入scSE注意力模块,对输入行人特征图的重要通道和空间特征进行增强,促使网络学习更有意义的特征信息。对YOLOv4颈部中特征金字塔网络的特征融合部分进行改进,在增加少量计算量的情况下增强对图像中行人目标的多尺度特征学习,从而提高检测精度。在VOC07+12+COCO数据集上进行训练和验证,结果表明,相比原YOLOv4算法,YOLOv4-DBF算法的AP值提高4.16个百分点,速度提升27%,将该算法加速部署在无人车中的TX2设备上进行实时测试,其检测速度达到23FPS,能够有效提高小目标行人检测的精度及实时性。     

夜间多场景的邻近感知实时行人检测算法

目的 行人检测是自动驾驶、监控安防等领域的关键技术，为了解决目标检测算法在夜间复杂场景以及遮挡情况下造成的行人检测精度降低的问题，本文提出将低光增强算法（low-light image enhancement）添加到夜间行人检测任务中进行联合训练，并引入邻近感知模块（nearby objects hallucinator,NOH），提出了一种改进的夜间监控场景下的邻近感知行人检测算法（nearby-aware surveillance pedestrian detection algorithm,NSPDet）。方法 为了提升夜间检测行人的准确率，在基线模型中加入低光增强模块（zero-reference deep curve estimation,Zero-DCE）。为了降低密集人群、遮挡造成的漏检、误检，利用NOH建模周围行人分布信息，提出了行人检测头（PedestrianHead）。为了减少模型参数，提升推理速度，本文利用深度可分离卷积将模型进行轻量化。结果 在NightSurveillance数据集上进行3组消融实验，相比基线模型YOLOX(exceeding YOLO (yo...     

基于轻量化YOLOv3的遥感军事目标检测算法

在导弹智能突防的过程中,从海量的遥感图像数据中检测敌方反导阵地具有极大的应用价值。由于弹载部署环境算力有限,设计了一种兼顾轻量化,检测精确率以及检测速度的遥感目标检测算法。制作了典型遥感军事目标数据集,通过K-means算法对数据集聚类分析。利用MobileNetV2网络代替YOLOv3算法的主干网络,保证网络的轻量化和检测速度。提出了适用于遥感目标特性的轻量化高效通道协同注意力模块和目标旋转不变性检测模块,将其嵌入检测算法中,在网络轻量化的基础上提升检测精确率。实验结果表明,提出算法的精确率达到97.8%,提升了6.8个百分点,召回率达到95.7%,提升了3.9个百分点,平均检测精度达到95.2%,提升了4.4个百分点,检测速度达到了每秒34.19张图,而网络大小仅为17.5?MB。结果表明该算法能满足导弹智能突防的综合要求。