基于多模态的车辆行人检测技术研究

针对单一传感器在复杂路况以及恶劣天气情况下车辆行人检测效果不佳,搭建了一套可见光、可见光偏振、短波红外和长波红外多模态数据采集系统,构建了一个多模态数据集,并提出了一种多模态车辆行人检测算法。首先,提出了一种基于改进型SIFT特征点的多尺度部分强度不变特征的异源图像配准算法;然后,提出基于YOLOv5多模态数据目标检测网络。最终实现了平均精度在日间数据集1.0%的提升,日间夜间混合数据集10.9%的提升。     

基于二维局域波和角点匹配的多模态图像配准

目前多模态图像配准研究是现代图像处理的一个热点。提出了一种基于二维局域波分解后剩余图像和角点检测的自动点匹配的多模态图像配准方法。首先通过理论分析得出通过求解剩余图像之间的变换参数即可获得原始图像之间的变换参数,从而论证了二维局域波应用于多模态图像配准的可行性,提出了一个新的基于Harris角点检测的高精度自动点匹配算法。该算法充分利用了图像的角点特征以及图像灰度和位置信息,匹配过程中采用圆形模板进行相似度计算和松弛匹配。实验表明,该算法可以精确的自动匹配,其精度优于传统的点匹配算法。     

多模态自适应特征融合的目标检测

随着深度学习的发展，基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试，但在低光照环境下，检测性能显著下降。为解决此问题，提出了一种基于YOLOv5构建的多模态目标检测网络模型，将RGB图像和热红外图像相结合，以充分利用多模态特征融合信息，从而提升目标检测精度。为了实现多模态特征信息的有效融合，提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息，实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息，从而显著提高检测精度。     

基于深度学习的多模态融合图像识别研究

基于深度学习的方法,利用多模态信息融合技术,将汽车等目标的声音、图像信息融合,用于对测试目标的判断.利用改进Inception网络对图像识别技术展开研究,分别比较了单纯图像信息情况的辨识、单纯声音信息情况的辨识,以及多模态融合情况下的辨识.通过试验分析和比较,证明该方法可以有效提高用户的图像识别能力,将特种车辆的平均识...     

基于上下文信息的监控场景行人检测方法

为了提高监控场景中行人检测的准确度,提出了一种基于上下文信息的行人检测方法.该方法将监控场景的上下文信息融入到卷积神经网络中,选择性地学习对行人检测有帮助的上下文信息.首先,利用一个截断的卷积神经网络提取输入图像的多张特征图.然后,将多张特征图通过两个包含上下文信息的卷积层,形成一张掩码图.最后,通过在掩码图上估计行人的边界框,获得行人检测的结果.实验表明,该方法能实现监控场景中准确且快速的行人检测.     

基于单目视觉的智能车障碍物检测及测距算法研究

在自动驾驶场景下,为了实现对智能车辆前方障碍物进行目标检测及测距,提出了一种基于单目视觉的前方车辆及行人检测与测距方法.利用数据集对YOLOv3神经网络模型进行优化训练,利用训练完成的神经网络对实时采集的视频信号中的车辆及行人进行目标检测,输出车辆及行人目标的检测框.以目标检测框底部中心点为参考点,根据相似三角形测距算...     

基于双模态特征增强的目标检测算法研究与应用北大核心CSCD

为提升目标检测算法在复杂环境下的精确性和实用性,将多源信息和深度学习技术相结合,提出了一种基于双模态特征增强的目标检测方法。该方法以红外和可见光图像作为输入,利用颜色空间转换、边缘提取、直方图均衡化等传统图像处理方法丰富图像信息,达到数据增强效果;特征提取部分采用卷积神经网络结构分别提取目标红外及可见光信息,并设计混合注意力机制分别从通道和空间位置角度提升有效特征权重;同时,针对目标双模态信息,引入了自适应交叉融合结构,提高特征多样性;最后,利用交替上下采样将目标全局和局部特征充分融合,并以自主选择方式提取目标相关特征实现检测。通过在标准数据集以及实际场景数据集上的实验结果表明,所提方法有效融合并增强了目标多模态特征,提升了目标检测效果,并能较好的应用于电网场景中,辅助机器人完成目标设备检测。     

一种多层多模态融合3D目标检测方法

在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段融合算法难以充分融合二者的特征.为此,本文提出一种新的多层多模态融合的3D目标检测方法：首先,前融合阶段通过在2D检测框形成的锥视区内对点云进行局部顺序的色彩信息（Red Green Blue, RGB）涂抹编码;然后将编码后点云输入融合了自注意力机制上下文感知的通道扩充PointPillars检测网络;后融合阶段将2D候选框与3D候选框在非极大抑制之前编码为两组稀疏张量,利用相机激光雷达对象候选融合网络得出最终的3D目标检测结果 .在KITTI数据集上进行的实验表明,本融合检测方法相较于纯点云网络的基线上有了显著的性能提升,平均mAP提高了6.24%.     

多模型ASM及其在人脸面部特征点定位中的应用

为了提高ASM在非均匀光照条件下的人脸面部特征点定位的精确度,提出了一种融合Log-Gabor小波特征的多模型ASM方法.该方法的主要特点有:在精确定位目标图像虹膜位置的基础上对全局形状模型进行较准确的初始化;特征点局部纹理特征采用灰度和Log-Gabor小波特征共同描述,减少光照和噪音对算法的影响;建立包括全局ASM和基于人脸面部显著特征区域的局部ASM的多模型ASM,交替使用这两种ASM模型在边缘约束策略基础上对特征点的定位结果进行约束.实验表明,多模型ASM算法对人脸面部特征点定位的准确率比传统ASM算法有明显提高.     

一种基于视频的道路行人检测方法

提出了一种基于交通视频的道路行人检测方法。首先,采用具有自适应背景更新的背景差法提取运动目标。其次,利用行人的轮廓特征和行人在图像上的像素高度与实际距离的线性变化关系特征进一步分割行人目标,并依据行人位置特征对其做多帧匹配跟踪。最后,结合行人速度特征,实现行人目标检测。实验结果表明,该方法能准确地检测交通场景中出现的行人目标,有效地解决运动车辆的遮挡和光照等对行人目标检测的影响,具有良好的实时性和稳健性。