井下视频行人检测方法

针对现有基于深度学习的行人检测方法存在计算量较大、检测效率严重依赖硬件性能等问题,对基于SSD网络的行人检测方法进行改进,设计了一种基于DenseNet网络的轻量级卷积神经网络作为SSD网络的基础网络,以满足井下视频行人实时检测需求,并设计了基于ResNet网络的辅助网络,以增强特征表征能力,提高行人检测准确性。将基于改进SSD网络的井下视频行人检测方法部署在嵌入式平台Jetson TX2上进行实验,结果表明该方法对井下视频中行人的检测准确率为87.9%,针对井下行人低密度场景的检测准确率近100%,且运算速度达48帧/s,约为基于SSD网络的行人检测方法的4.4倍,满足井下行人实时检测需求。     

结合并行特征传递深度学习网络的矿井行人检测

矿井行人检测是实现机车无人驾驶的关键技术之一,传统视觉特征提取算法无法有效地应对矿井巷道环境复杂、照明恶劣等问题.为此提出了一种基于并行特征传递的矿井行人检测深度学习网络,以保证检测的高准确率与强实时性.首先阐述了网络的结构,包括并行工作的行人辨识模块和行人定位模块,以及两者之间的特征传递块;其中行人辨识模块粗略调整锚点框位置与大小且过滤负锚点,行人定位模块进一步提升回归精度并给出预测结果特征,传递块将行人辨识模块的不同层的特征转换成行人定位模块所需特征.其次采用数据集扩增、数据增强和难例挖掘等措施优化训练过程.最后给出基于安徽桃源与新集矿井采集视频的实验结果.实验数据表明,所提算法以37帧/s的实时处理速率,其平均精度仍可保持63.4%,与YOLOv1算法相比,平均精度提高9.2%,与M2Det算法相比,提高22帧/s.     

基于YOLO v3深度学习算法的视觉导航技术研究与实践

针对传统的目标检测算法实时性低的问题，利用深度学习YOLO v3算法进行视觉识别研究，并将基于YOLO v3算法的视觉识别程序应用于视觉导航小车，实现小车对路标的实时识别和自主导航。在深入理解YOLO v3算法原理和框架的基础上，提出基于YOLO v3算法的视觉导航小车自动驾驶程序框架。通过在视觉导航小车的控制系统中嵌入python语言编写的YOLO v3算法，实现小车在沙盘上进行路标识别和自动驾驶。实际运行效果表明，训练阶段，YOLO v3算法视觉识别对路标的平均识别率达到了93.5%，小车在沙盘上运行过程中对路标的平均识别率达到了99.5%。基于YOLO v3算法的视觉识别表现出较高的路标识别率，可以满足小车自主导航的需要。     

基于Movidius神经计算棒的行人检测方法

Movidius神经计算棒是基于USB模式的深度学习推理工具和独立的人工智能加速器，为广泛的移动和嵌入式视觉设备提供专用深度神经网络加速功能。针对深度学习的嵌入式应用，实现了一种基于Movidius神经计算棒的近实时行人目标检测方法。首先，通过改进RefineDet目标检测网络结构使模型大小和计算适应嵌入式设备的要求；然后，在行人检测数据集上对模型进行重训练，并部署于搭载Movidius神经计算棒的树莓派上；最后，在实际环境中对模型进行测试，算法达到了平均每秒4帧的处理速度。实验结果表明，基于Movidius神经计算棒，在计算资源紧张的树莓派上可完成近实时的行人检测任务。     

基于激光雷达数据的行人检测

在自动驾驶领域涉及的众多任务中,行人识别是必不可少的技术之一。针对基于图像数据的行人检测算法无法获得行人深度的问题,提出了基于激光雷达数据的行人检测算法。该算法结合传统基于激光雷达数据的运动目标识别算法和基于深度学习的点云识别算法,可以在不依赖图像数据的条件下感知和检测行人,进而获取行人的准确三维位置,辅助自动驾驶控制系统作出合理决策。该算法在KITTI三维目标检测任务数据集上进行性能测试,中等难度测试达到33.37%的平均准确度,其表现领先于其他基于激光雷达的算法,充分证明了该方法的有效性。     

基于深度学习的行人数量统计方法

为了实现对视频中的行人进行实时、准确的人数统计,提出了一种基于深度学习的计数方法。首先,通过K-means聚类方法优化检测模型的先验框;其次,使用实际场景下获取的行人图像对深度学习模型YOLO-v3进行训练;然后利用Deepsort在线多目标跟踪算法跟踪多个行人并分别获取其轨迹;最后通过计数线法判断行人数量。该方法计数准确率可达89.2%,每帧检测时间可达65ms,且场景适应性强,鲁棒性好,可满足实时行人计数要求。     

改进的Faster RCNN煤矿井下行人检测算法

针对煤矿井下环境恶劣、光照差、背景混杂、行人模糊、行人多尺度等问题，提出了一种改进的Faster RCNN煤矿井下行人检测方法，使用深度卷积神经网络代替传统的手工设计特征方式自动地从图片中提取特征。利用深度学习通用目标检测框架Faster RCNN，以Faster RCNN算法为基础，对候选区域网络（Region Proposals Network，RPN）结构进行了改进，提出了一种“金字塔RPN”结构，来解决井下行人存在的多尺度问题；同时算法中加入了特征融合技术，将不同卷积层输出的特征图进行融合，增强煤矿井下模糊、遮挡和小目标行人的检测性能。实验结果表明：改进的Faster RCNN可以有效解决井下行人检测问题，在井下行人数据集上获得了90%的检测准确率，并在公测数据集VOC 07上对改进算法进行了验证。     

基于深度学习的前方车辆距离与速度测量方法研究

针对复杂场景中的驾驶安全问题，文章为了能解决这一问题提出一种方法研究，运用深度学习的相关理论知识为研究背景，对驾驶车辆前方的车辆通过测量其速度和距离的方法进行智能危险监控。在研究过程中，首先，结合YOLOv5和DeepSort算法在Pytorch框架上进行训练，其中，本文针对DeepSort算法进行改进，改进主要针对ReID模块的结构网络层进行加深，训练效果的过拟合度有明显改善，并且也有效解决了遮挡问题，使得对前方车辆的检测和跟踪效果更佳，获得了较为准确的空间位置信息，此外，文章还运用单目视觉这一测量方法，对车辆的距离和速度进行实时的检测，从而有效解决驾驶安全问题。     

双目机器视觉及RetinaNet模型的路侧行人感知定位

目的 行人感知是自动驾驶中必不可少的一项内容,是行车安全的保障。传统激光雷达和单目视觉组合的行人感知模式,设备硬件成本高且多源数据匹配易导致误差产生。对此,本文结合双目机器视觉技术与深度学习图像识别技术,实现对公共路权环境下路侧行人的自动感知与精准定位。方法 利用双目道路智能感知系统采集道路前景图像构建4种交通环境下的行人识别模型训练库;采用RetinaNet深度学习模型进行目标行人自动识别;通过半全局块匹配（semi-global block matching,SGBM）算法实现行人道路前景图像对的视差值计算;通过计算得出的视差图分别统计U-V方向的视差值,提出结合行人识别模型和U-V视差的测距算法,实现目标行人的坐标定位。结果 实验统计2.5 km连续测试路段的行人识别结果,对比人工统计结果,本文算法的召回率为96.27%。与YOLOv3（you only look once）和Tiny-YOLOv3方法在4种交通路况下进行比较,平均F值为96.42%,比YOLOv3和Tiny-YOLOv3分别提高0.9%和3.03%;同时,实验利用标定块在室内分别拍摄3 m、4 m和5 m不同距离的20对双目图像,验证测距算法,计算标准偏差皆小于0.01。结论 本文提出的结合RetinaNet目标识别模型与改进U-V视差算法能够实现对道路行人的检测,可以为自动驾驶的安全保障提供技术支持,具有一定的应用价值。     

基于视觉的机器人自主定位与障碍物检测方法

针对稀疏型同时定位与地图构建（SLAM）算法环境信息丢失导致无法检测障碍物问题，提出一种基于视觉的机器人自主定位与障碍物检测方法。首先，利用双目相机得到观测场景的视差图。然后，在机器人操作系统（ROS）架构下，同时运行定位与建图和障碍物检测两个节点。定位与建图节点基于ORB-SLAM2完成位姿估计与环境建图。障碍物检测节点引入深度阈值，将视差图二值化；运用轮廓提取算法得到障碍物轮廓信息并计算障碍物凸包面积；再引入面积阈值，剔除误检测区域，从而实时准确地解算出障碍物坐标。最后，将检测到的障碍物信息插入到环境的稀疏特征地图当中。实验结果表明，该方法能够在实现机器人自主定位的同时，快速检测出环境中的障碍物，检测精度能够保证机器人顺利避障。     

自动驾驶场景的尺度感知实时行人检测

目的 行人检测是目标检测中的一个基准问题,在自动驾驶等场景有着较大的实用价值,在路径规划和智能避障方面发挥着重要作用。受限于现实的算法功耗和运行效率,在自动驾驶场景下行人检测存在检测速度不佳、遮挡行人检测精度不足和小尺度行人漏检率高等问题,在保证实时性的前提下设计一种适合行人检测的算法,是一项挑战性的工作。方法 本文旨在解决自动驾驶场景中耗时长、行人遮挡和小尺度行人检测结果精度低的问题,提出了一种尺度注意力并行检测算法（scale-aware and efficient object detection,Scale-aware EfficientDet）：在特征提取与检测中使用了EfficientDet的主干网络,保证算法效率和功耗的平衡;在行人遮挡方面,为了提高模型对遮挡现象的检测精度,引入了可以增强行人与其他物体之间特征差异的损失函数;在提高小目标行人检测精度方面,采用scale-aware双路网络算法来增加对小目标行人的检测精度。结果 本文选择Caltech行人数据集作为对比数据集,选取YOLO（you only look once）、YOLOv3、SA-FastRCNN（scale-aware fast region-based convolutional neural network）等算法进行对比,在运行效率方面,本文算法在连续输入单帧图像的情况下达到了35帧/s,多图像输入时达到了70帧/s的工作效率;在模型精度测试中,本文算法也略胜一筹。本文算法应用于2020年中国智能汽车大赛中,在安全避障环节皆获得满分。结论 本文设计的尺度感知的行人检测算法,在EfficientDet高性能检测器的基础上,通过结合损失函数、scale-aware双路子网络的改进,进一步提升了本文检测器的鲁棒性。     

基于Codebook背景建模的视频行人检测

针对视频序列,Codebook背景建模算法能检测出其中的运动物体,但却无法识别行人.而大部分基于支持向量机(SVM)训练的行人分类器,需要通过滑动窗口遍历图像检测行人.为加快行人检测的速度,提出将传统的行人分类器融入到Codebook背景建模算法中,通过背景建模算法为行人检测提供候选区域,减少搜索范围,降低了行人误检率;并根据行人的特点,构建临时块模型定期将满足条件的前景区域更新到背景模型中,解决了Codebook背景建模算法不能应对光照突变的问题.实验结果表明:所提算法能应对光照突变所带来的干扰,实现视频行人实时检测.     

基于改进的Mask R-CNN的行人细粒度检测算法

针对复杂场景下行人检测效果差的问题,采用基于深度学习的目标检测中领先的研究成果,提出了一种基于改进Mask R-CNN框架的行人检测算法。首先,采用K-means算法对行人数据集的目标框进行聚类得到合适的长宽比,通过增加一组长宽比（2：5）使12种anchors适应图像中行人的尺寸;然后,结合细粒度图像识别技术,实现行人的高定位精度;其次,采用全卷积网络（FCN）分割前景对象,并进行像素预测获得行人的局部掩码（上半身、下半身）,实现对行人的细粒度检测;最后,通过学习行人的局部特征获得行人的整体掩码。为了验证改进算法的有效性,将其与当前具有代表性的目标检测方法（如更快速的区域卷积神经网络（Faster R-CNN）、YOLOv2、R-FCN）在同数据集上进行对比。实验结果表明,改进的算法提高了行人检测的速度和精度,并且降低了误检率。     

基于LSTM个性化步长估计的井下人员精准定位PDR算法

针对传统的行人航位推算(PDR)算法由于步长和航向累积误差导致定位精度较低,不能满足井下人员精准定位需求的问题,提出了一种基于长短时间记忆网络(LSTM)个性化步长估计的井下人员精准定位PDR算法。首先采集井下人员运动中的加速度、陀螺仪惯性信息,解算每一步运动距离构建步长数据,通过离线训练获得井下人员个性化步长估计LSTM模型;然后在在线预测阶段通过矿用本安智能手机实时采集加速度、陀螺仪、地磁等井下人员运动数据,分别采用步伐检测算法、个性化步长估计模型获得井下人员运动步伐及每一步的步长,利用卡尔曼滤波融合航向估计算法获得航向角;最后根据步长估计和航向角预测井下人员当前位置。在内蒙古鄂尔多斯市高头窑煤矿采集井下人员运动数据进行试验,结果表明:基于LSTM个性化步长估计的井下人员精准定位PDR算法对井下人员运动中的步伐检测精度为96.5%,步长预测精度为90%;在井下真实环境中的相对定位误差为2.33%,提高了煤矿井下人员定位的精度。     

深度学习及时空约束的行人跟踪算法研究

由于以往的行人跟踪方法大部分不能有效地解决目标被遮挡后以及目标尺寸变化再跟踪的问题,所以引入了深度学习的方法,但是经实验发现单纯使用深度学习行人跟踪会因行人检测部分的误差而出现整体的跟踪准确率不高的问题。提出了一种基于深度学习和时空约束后处理的行人跟踪方法,深度学习的行人检测部分采用了根据实际应用场景优化过的SSD算法,行人匹配部分采用了一种计算交叉输入领域差异然后进行块总结的方法,最后进行时空约束的后处理。在OTB数据集上做实验,与传统跟踪算法以及单纯深度学习算法进行了对比。     

基于深度卷积神经网络特征层融合的小尺度行人检测

针对目前行人检测算法计算量过大和对小尺度行人检测精度不高的问题,提出了一种基于深度卷积神经网络特征层融合的小尺度行人检测方法,设计了一种包含9个卷积层的深度神经网络架构.在进行行人检测时,首先,对输入图像进行分块预处理操作,避免损失原始图像的视觉信息;然后,将网络不同层的卷积特征进行融合,提升行人特征的区分能力和表达能力,进而提升行人检测的精度,在保证检测精度的同时有效降低网络的复杂度.在INRIA、Caltech等公共行人数据集上的实验结果表明,所提出的行人检测方法能够有效检测小尺度的行人,且网络架构的参数量更少,检测速度更快,能得到更高精度的行人检测结果.     

改进卡尔曼滤波的井下组合导航定位算法

为解决井下人员定位算法定位精度不高的问题,提出基于微惯性导航系统和无线传感器网络的井下组合导航定位算法.通过井下无线网络、惯性定位终端采集相关信息数据,利用行人航迹推算算法和改进加权质心定位算法分别估算出目标点的坐标和速度.将这两种算法通过正弦余弦蝙蝠融合算法优化后的卡尔曼滤波组合导航定位,估算出目标点最终的位置坐标....     

COVID‐19疫情下基于YOLOv4的安全社交距离风险评估

为保持行人在新型冠状病毒肺炎（COVID-19）疫情下的安全社交距离,有效控制和预防疫情传播,构建一种基于YOLOv4的安全社交距离风险评估模型。利用微调后的YOLOv4算法对行人进行目标提取,获取行人关键点,并将行人连续运动视为质点的连续运动,结合DeepSort算法实现对行人的跟踪处理。在此基础上,建立视觉坐标系,在鸟瞰视角下提出运动矢量分析算法计算和判断行人运动方向并评估行人的安全社交距离。在牛津城市中心的数据集上评估模型有效性,实验结果表明,微调后YOLOv4算法在行人检测中平均精度均值达到90.33%,行人社交距离风险评估准确率达到88.23%,性能优于Fast R-CNN、Faster R-CNN、YOLOv3和YOLOv4算法,表明所提模型能够有效提升安全社交距离的检测准确性。     

煤矿井下行人检测算法

针对井下光照不均匀、行人特征与背景的相似度高等导致基于计算机视觉的行人检测技术在井下应用面临很大挑战的问题,提出采用Faster区域卷积神经网络(RCNN)进行煤矿井下行人检测。Faster RCNN行人检测算法采用区域建议网络(RPN)生成候选区域,RPN与Fast RCNN共享卷积层,以提高网络训练和检测速度;在图像特征提取过程中采用动态自适应池化方法对不同池化域进行自适应池化操作,提高了检测准确性。实验结果表明,该算法对于不同环境下图像中的行人均具有较好的检测效果。