基于传感器数据融合的车辆目标匹配

利用毫米波雷达和相机数据融合检测前方障碍物的方法,可以为智能驾驶汽车提供准确可靠的感知信息。因而,基于多传感器数据融合的目标匹配的重要性逐渐凸显。为实现二者的目标匹配,首先构建了相机和毫米波雷达的时间融合模型和空间融合模型,实现二者数据的时间一致和空间对准,然后对毫米波雷达数据和图像数据进行处理,通过对毫米波雷达数据的预处理且引入有效目标决策算法,获取毫米波雷达的有效目标数据;利用基于深度学习的目标检测算法,实现对图像中车辆目标的检测。最后设计了二者的目标匹配算法,并通过实验验证了该方法的有效性。     

基于激光雷达和摄像头信息融合的车辆检测算法

针对摄像头在无人驾驶系统车辆检测中易受环境干扰的问题,通过激光雷达数据和摄像头图像进行融合,提出了一种强鲁棒性实时车辆检测算法。首先,将三维激光雷达点云通过深度补全方法转换为和图像具有相同分辨率的二维密集深度图。然后将彩色图像和密集深度图分别通过 ＹＯＬＯｖ３实时目标检测框架得到各自的车辆检测信息。最后,提出了决策级融合方法将两者的检测结果进行融合,得到了最终的车辆检测结果。在 ＫＩＴＴＩ数据集上对算法进行评估,实验结果表明该算法完全满足无人驾驶车辆所需的强鲁棒性、强实时性和高检测精度的要求。     

基于深度学习的自动驾驶环境感知技术研究

自动驾驶车辆是由环境感知、定位导航、路径规划、运动控制等组成。充分考虑车路合一,协调规划的车辆系统。自动驾驶的环境感知系统融合了超声波传感器、红外线传感器、激光雷达、毫米波雷达等多种传感器的数据来获取道路信息。为此,本文首先介绍了激光雷达在自动驾驶感知系统的应用。然后对自动驾驶环境感知系统的关键技术:目标检测、跟踪、场景分割分别进行研究。     

基于BP神经网络的目标识别算法和多源感知技术相融合的GIS性能检测方法

针对传统多源感知检测方法在气体绝缘全封闭组合电器(Gas Insulated Switchgear, GIS)作业中性能检测数据准确度不足的问题,设计了一种基于目标识别算法和多源感知技术相融合的GIS性能检测方法。在传统性能检测技术中引入以BP神经网络为核心的目标识别算法,通过BP多层神经网络,实现了高效地数据目标提取,大幅提高了数据检测的准确度。为解决单一传感器不能完整地捕捉复杂环境信息的问题,基于多源感知技术,采用多个传感器对多个数据源进行综合感知,扩展了环境视角与信息维度,实现了对周围环境的全方位监控,使检测系统获得了更为理想的数据检测能力。在实际GIS运行环境中进行实地检测,将所提出的改进多源感知方法与传统多源感知方法进行了实验对比。结果表明,所提方法能够将GIS性能检测的准确度提高至98%以上。     

毫米波雷达与视觉传感器信息融合的车辆跟踪

为提高车辆前向防碰撞预警系统对前方道路环境感知的准确性,提出一种毫米波雷达与视觉传感器信息融合的车辆跟踪方法。提出的剔除雷达干扰目标算法缩短了对干扰目标的处理时间;提出的对称检测算法可对雷达目标兴趣区域进行对称检测,减小雷达目标兴趣区域的横向位置误差;提出的KCF-KF组合滤波算法可提高跟踪车辆的精度。实车试验表明,该方法可有效跟踪车辆位置信息,像素坐标系下的X、Y坐标跟踪准确率分别超过97.34%与95.19%。     

卷积神经网络在无人驾驶感知技术上的应用

对卷积神经网络(CNN)的目标检测方面展开研究,将识别精度较高的Faster RCNN网络框架进行了改进,并应用于无人驾驶视觉感知系统中。利用改进算法进行了不同场景的车辆检测仿真实验。应用了MATLAB的计算机视觉系统工具箱对改进的算法进行快速验证,并应用了驾驶场景设计器对多传感器融合及模拟道路场景进行构建;应用了Simulink和Embedded Coder分别进行视觉控制系统设计及自动代码生成。实验结果表明:改进算法的平均检测精度达到80%以上,具有较高的可行性及鲁棒性,上述解决方案可加快无人驾驶安全感知系统的研发速度,缩短研发周期。     

基于激光雷达的无人驾驶系统三维车辆检测

针对无人驾驶系统环境感知中的三维车辆检测精度低的问题,提出了一种基于激光雷达的三维车辆检测算法.通过统计滤波与随机抽样一致算法(Random Sample Consensus,RANSAC)实现地面点云分割,剔除激光雷达数据冗余点及离群点;改进3DSSD深度神经网络,利用融合采样提取点云中车辆语义信息与距离信息;根据特...     

基于注意力机制的多尺度车辆行人检测算法

无人驾驶汽车在复杂多变的交通场景中能提前且准确检测到车辆行人的动态信息尤为重要.然而,无人驾驶场景下存在相机快速运动、尺度变化大、目标遮挡和光照变化等问题.为了应对这些挑战,本文提出了一种基于注意力机制的多尺度目标检测算法.基于YOLOv3网络,首先,使用空间金字塔池化模块对多尺度局部区域特征进行融合和拼接,使网络能够...     

路面机动目标的融合跟踪

针对自主车辆的机动目标跟踪问题提出了一个利用雷达和图像传感器的融合跟踪方法.采用动力学模型对车辆运动进行描述以适应车辆机动的情形.利用雷达的距离信息建立视觉窗口,利用三维线框模型从窗口图像中获取车辆转向角,然后通过数据融合技术,充分利用雷达与图像传感的量测信息,提高对机动目标的状态估计精度.三维仿真实验证明,与单纯基于雷达量测的跟踪方法相比,该融合方法大大提高了对机动目标的跟踪精度.     

基于超声波雷达的改进车位检测算法研究

针对传统车位检测算法因难以捕捉距离跳变和确定车位姿态而导致检测准确性不足的问题,提出了一种基于拟合特征线段的改进车位检测算法。针对超声波雷达幅值衰减设计了能量增益补偿方案;根据车辆实时位姿和超声波距离数据拟合代表障碍物轮廓的特征线段,借助激光雷达对特征线段拟合精度进行评价,并进一步设计了融合车位初步检测、车位再判断、车位约束条件判断及车位姿态计算的检测流程。利用实车平台对所提算法进行了实验验证,实验结果表明,所提算法的平均检测准确率达92.5%,能为智能汽车泊车系统提供准确、可靠的目标车位信息。     

Deep Learning Based Data Fusion for Sensor Fault Diagnosis and Tolerance in Autonomous Vehicles

Environmental perception is one of the key technologies to realize autonomous vehicles.Autonomous vehicles are often equipped with multiple sensors to form a multi-source environmental perception system.Those sensors are very sensitive to light or background conditions,which will introduce a variety of global and local fault signals that bring great safety risks to autonomous driving system during long-term running.In this paper,a real-time data fusion network with fault diagnosis and fault tolerance mechanism is designed.By introducing prior features to realize the lightweight network,the features of the input data can be extracted in real time.A new sensor reliability evaluation method is proposed by calculating the global and local confidence of sensors.Through the temporal and spatial correlation between sensor data,the sensor redundancy is utilized to diagnose the local and global confidence level of sensor data in real time,eliminate the fault data,and ensure the accuracy and reliability of data fusion.Experiments show that the network achieves state-of-the-art results in speed and accuracy,and can accurately detect the loca-tion of the target when some sensors are out of focus or out of order.The fusion framework proposed in this paper is proved to be effective for intelligent vehicles in terms of real-time performance and reliability.     

智能汽车环境感知算法测试评价系统开发

基于硬件在环仿真平台和六自由度驾驶模拟器,开发了智能汽车环境感知算法测试评价系统。为兼顾仿真测试的可重复性、可拓展性及道路测试的真实性,采用真实交通场景作为输入场景信息;针对现有检测算法评价依赖人工识取的不足,提出了基于机器学习的标准检测算法和基于数据关联的检测评价算法,并将系统测评结果与人工识取结果进行对比。实验结果表明,所开发的测试评价系统方案可行,测试精度较高,实时性较好,在模糊、遮挡、光照变化等复杂环境下均可实现对各种不同特性的车道线和车辆目标的准确测评,能较好地满足智能汽车环境感知算法测试评价的要求。     

Nickel particle-based self-sensing pavement for vehicle detection

In this paper, a new self-sensing pavement for vehicle detection is designed. Smart nickel particle filled cement-based sensors with high sensitivity are used as vehicle detector. The sensor array is embedded into a concrete pavement to form the self-sensing pavement. The vehicle detection capability of this pavement is investigated in outdoor road tests. Experimental results show that the proposed self-sensing pavement can accurately detect the passing vehicles. This finding indicates that the self-sensing pavement embedded with smart cement-based sensors has a great potential for traffic detection and monitoring.     

基于多模态特征融合的自主驾驶车辆低辨识目标检测方法#br#

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法。基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态（3种）图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应用。建立了人工标注过的多模态（3种）图像低辨识目标数据集,对深度学习神经网络进行训练,优化内部参数,使得该系统适用于复杂环境下对行人、车辆目标的检测和识别。实验结果表明,相对于传统的单模态目标检测算法,基于多模态特征融合的深度卷积神经网络对复杂环境下的低辨识目标具有更好的检测和识别性能。     

面向无人艇环境感知的改进型 SSD 目标检测方法

为了提升无人艇对典型水面小目标感知能力,本文提出了基于多尺度卷积融合结构和空间注意力加强的改进型SSD目标检测算法。首先,对SSD浅层网络进行多尺度卷积融合,提升浅层网络的语义信息;其次,设计空间注意力结构对卷积特征层逐个增强,提升对弱纹理小目标特征保持性;最后,在VOC公开数据集和自构水面目标数据集上进行了测试,并基于无人艇开展了真实海域目标检测识别验证。实验结果表明,该算法在无人艇Nvidia平台的运行效率可达15 fps,能准确检测识别浮标、桥墩、渔船、快艇和货船等目标,在典型海面场景虚警率为5%时的小目标检测率相对原生SSD算法提升近20.2%,平均有效检测率达到79.3%。     

基于多模感知的上肢康复训练轨迹跟踪研究

面向上肢康复训练过程中的人机交互应用场景,针对单一传感器难以准确、稳定跟踪上肢运动轨迹的问题,提出了基于惯性传感器与Kinect传感器的多模感知融合方案;为解决惯性传感器在轨迹跟踪过程中的累积误差问题,提出了多项式补偿与零值约束相结合的误差修正算法;针对Kinect传感器深度图像成像质量影响骨骼跟踪效果的问题,提出了变参数像素滤波器对深度图像进行修复。通过惯性传感器运动实验,验证了累积误差修正算法的有效性,X轴位移误差为7.8 mm;深度图像修复结果表明,深度像素损失点数减少约50%,图像更为清晰,并通过实验验证了基于深度图像能够有效跟踪骨骼运动轨迹;最后,通过轨迹数据融合实验验证了基于多模感知的上肢运动轨迹跟踪方案的可行性与有效性,计算时延仅1.2 s。     

一种基于双相机焊缝跟踪的球形储罐爬壁机器人定位方法

针对具有很少甚至没有地标和缺乏良好照明条件的大型液化石油气球形储罐环境下,仅依靠里程计以及惯性测量单元的爬壁机器人定位精度较低,且存在较为明显的累积误差的问题,提出了一种新的解决方案,通过跟踪球形储罐表面焊缝相对于机器人的运动来改善机器人定位精度。首先,通过配备辅助光源,利用安装在机器人两侧的CCD相机进行图像采集,并实时对图像进行二值化处理,识别出焊缝特征区域并输出相应的检测信号,通过相邻时刻检测信号增量计算来估计机器人的相对位置;接着,提出了一种改进加权融合算法,用以实现各传感器之间的数据融合,该算法结合了自适应加权融合算法以及基于最小二乘原理的加权融合算法的优点,以对各加权因子重新分配权值的思想来对各个传感器数据进行最终融合,提高了测量精度以及动态适应性。最后,在实际环境以及虚拟环境下对该方法进行了实验评估,验证了该方法的有效性。实验结果表明,在没有良好照明条件及地标的球形储罐环境下,该方法可以保证爬壁机器人定位的准确性。     

基于CCD的待车数传感器研究--等待车辆图像的腐蚀-膨胀识别算法

城市交通系统是一个复杂系统，为实现城市汽车流实时响应控制，交通信息的实时采集和处理显得尤为重要。针对现有车辆检测器需对道路进行破坏性改造等问题，研究一种基于单幅、静态图像处理的CCD路口等待车辆数传感器；提出在对图像连行有效的预处理的基础上，采用腐蚀-膨胀识别算法，使系统实时检测出交通路口的等待车辆数，并以此作为城市交通信号控制系统实时决策的状态信息。通过示例证明了算法的实时性、健壮性及自动化的应用前景。