一种毫米波雷达和图像特征级融合的目标检测方法

论文为了降低复杂场景中基于单一传感器进行目标检测的局限性,提出了一种特征级的毫米波雷达和图像融合的目标检测方法（SPCRF-Net）。该方法将毫米波雷达原始数据预处理成固定大小的线段并映射到图像中,引入金字塔池化处理毫米波雷达数据;对图像采用VGG16作为主干网络进行特征提取,并在每一层中融合毫米波雷达特征和图像特征。在融合层次中引入SE注意力模块增强高级别特征感知能力,并构建了一种融合结构（PFPN）强化特征提取。实验表明该方法有效减少了目标的漏检情况,提升了模型目标检测的性能。     

基于多传感器融合的城市道路目标检测方法

面对动态目标种类繁多的城市道路复杂场景，单一传感器无法获取准确全面的目标状态信息，针对上述问题，提出了一种基于多传感器信息融合的城市道路目标检测方法。首先，基于中心点图像检测网络获取目标尺寸大小、估计深度等信息，构建3D感兴趣区域截锥，获取目标初始状态信息，利用体素网格滤波法进行激光雷达点云预处理，减少点云冗余信息，并提出一种F-PointPillars方法融合激光雷达与毫米波雷达点云特征信息，获取目标位置和速度信息。然后，在截锥区域内，依据最近相邻原则匹配目标图像对应的点云信息，数据关联后将融合结果输入归一化头网络，获取目标准确全面的目标状态信息，为下一步决策控制提供精准数据。最后，在标准数据集Nuscenes上进行评估，与单相机检测方法和激光雷达融合毫米波雷达检测方法相比，NDS得分分别增加了9.4%和15.6%,平均尺度误差和平均角度误差分别降低了4.9%和2.9%,验证了上述方法的有效性。     

夜间行人检测的红外及可见光视频融合方法

提出一种基于红外和可见光视频融合的夜间行人检测算法。算法融合可见光和红外两种视频信息,使行人检测结果更直观,能够提供视觉丰富的环境信息。首先,通过时空滤波技术和目标热成像特征对红外视频进行滤噪,然后根据红外视频中的亮度信息用区域种子生长算法进行运动目标分割,再根据区域形状及颜色信息进行目标筛选,最后将红外和可见光视频融合起来增强检测结果,使视频中提供的信息更加丰富。     

激光雷达引导下的红外图像中行人检测

研究了一种利用激光雷达数据引导红外图像进行行人检测与识别的方法。首先针对激光雷达数据,提出了一种利用鲁棒主成分分析进行目标感兴趣区域检测的方法,进而设计了一种窗口滤波算法对前景矩阵进行滤波处理,得到目标感兴趣区域的位置信息。在此基础上,将该位置信息投影到红外图像中获取红外图像中的目标感兴趣区域,进而在红外图像感兴趣区域内利用稀疏编码金字塔算法和支持向量机完成行人识别。实验结果表明了该算法能够有效地完成行人识别。     

基于YOLO的多模态加权融合行人检测算法

在夜间光照不足、目标被遮挡导致信息缺失以及行人目标多尺度的情况下,可见光单模态行人检测算法的检测效果较差。为了提高行人检测器的鲁棒性,基于YOLO提出一种可见光与红外光融合的行人检测算法。使用Darknet53作为特征提取网络,分别提取2个模态的多尺度特征。对传统多模态行人检测算法所使用的concat融合方式进行改进,设计结合注意力机制的模态加权融合层,以加强对融合特征图的模态选择。在此基础上,使用多尺度的融合特征进行行人检测。实验结果表明,模态加权融合较concat融合有较大的精度提升,且该算法在夜间光照不足、目标遮挡和目标多尺度情况下检测效果良好,在KAIST数据集上的检测精度优于HalFusion和Fusion RPN+BDT等算法,检测速度也有较大提升。     

可见光–红外特征交互与融合的YOLOv5目标检测算法

目标检测是自动驾驶系统的关键技术, 普通RGB目标检测算法在夜间和恶劣气候等场景往往表现一般, 融合可见光和红外信息的目标检测算法因而受到诸多研究关注. 现有方法通常融合结构复杂, 且忽视了模态间信息交流的重要性. 对此, 本文以YOLOv5为基本框架, 提出一种可见光–红外特征交互与融合的目标检测算法, 使用一种新的主干网络跨阶段局部(CSPDarknet53-F), 采用双分支结构分别提取可见光和红外特征. 然后, 通过特征交互模块重构各模态的信息成分和比例, 提升模态间信息交流, 使可见光和红外特征进行更充分的融合. 在FLIR-aligned和M$^3$FD数据集上的大量实验证明, 本文算法使用的CSPDarknet53-F在协同利用可见光和红外信息方面更加出色, 提升了模型精度, 同时, 拥有对抗光照强度骤变的鲁棒性     

基于新型AFCM的多传感器目标跟踪航迹融合

多目标跟踪是多传感器系统信息融合中的核心技术之一.采用新型的AFCM模糊算法实现对多目标交叉状态下航迹数据关联.该算法定义了一种新的度量空间中的距离,通过新的距离定义有效抑制含有噪声点的样本及目标航迹交叉在迭代中对数据关联聚类中心点的大幅偏差.同时应用改进带加权的航迹融合算法对红外和毫米波雷达传感器测量的航迹数据进行融合.仿真试验证明,新的算法在综合多传感器探测优势的基础上,对航迹的融合结果优于SF算法.新的数据关联算法和改进的加权航迹融合算法为多源信息融合提供了一种可靠有效的多目标跟踪技术.     

基于Canny边缘SURF特征的红外与可见光图像配准算法

利用多源传感器之间获取信息的互补性,克服单传感器的缺陷,从而提高系统整体性能指标的思想已经在军事、医疗、卫星等领域获得了广泛的应用。可见光和红外图像相融合也能提高视觉应用场景中对目标的探测能力,降低目标警报的虚警率和漏警率,提升准确率和工作效益。对于红外与可见光图像配准过程中受不同传感器图像成像原理不同,成像结果图像灰度差异大、特征难以匹配的问题,可以利用红外和可见光图像的共有特征即边缘轮廓特征,采用Canny边缘提取算法提取出图像最基本、稳定的特征,然后在边缘图中使用SURF特征检测算法进行特征点提取与匹配,最后采用RANSAC进行精准匹配。由于边缘在红外和可见光图像中都是比较稳定的特征,而且在边缘轮廓图中进行特征提取将极大减少计算量和提高匹配率,因而最终能够获得较为准确的红外、可见光图像的变换关系。     

基于DSmT理论的多视角融合目标检测识别

现有无人车在目标检测中大多依靠单一检测视角进行多传感器数据融合,受传感器检测范围的局限,难以大幅提高准确率,且对融合过程中的类别判定的高冲突情况处理较少．针对以上问题,本文基于多假设思想提出了多视角检测结果的聚类合并方法,并基于DSmT（Dezert-Samarandache theory）和时序信息,改进了冲突分配准则,降低了目标检测的漏检率与误检率．首先利用图像检测算法检测图像中的有效目标,将激光雷达的目标检测结果投影在图像平面上,通过交并比关系构建2种传感器检测结果之间的关联概率矩阵,基于多假设思想实现聚类合并,获取单帧融合检测结果．针对融合过程中可能出现的类别判定冲突情况,利用DSmT融合识别置信度,并结合时序信息对冲突重新分配,获取目标类别的准确识别结果．最后,通过实车实验对算法的有效性进行了验证．     

基于注意力机制和特征融合的道路目标检测算法

针对道路检测目标小、模型特征融合不充分等问题,提出了一种基于注意力机制和多尺度特征融合的道路目标检测算法MFFDM。该算法将Resnext50网络与注意力模块进行融合形成新的主干特征提取网络;其次,新增具有空间位置信息的底层检测层来匹配对小物体的检测;另外,利用反卷积模块及特征纹理提取模块设计多尺度特征融合网络DEFTFN。实验表明,与FCOS算法相比,该算法在KITTI数据集上的平均精度提升了9.3%,对道路行人目标的检测精度提升明显,提升幅度达14.6%。